为什么去中心化
单一评测方的测试过程不透明,可靠性常有争议;评测本身也可能出错、饱和或被针对优化;而不同人关心的能力并不相同。BB Index 因此做三件事:
- 多源。收录 65 个发布方的 2,500 张来源表,同一评测的不同版本、不同运行方分开记录。
- 评测也被评估。评测的权重由共同实测和局部区分度决定,问题评测经人工审查剔除。
- 默认分只是起点。用户给出自己观察到的强弱,算法反推评测与逐题权重,得到属于自己的尺子。
默认榜怎样计算
- 只取两个模型都实测过的测量单元,计算成绩差。
- 相关评测(同一评测的不同版本或来源)划入同一评测族,族内分摊预算,避免重复计权。
- 已登记的饱和评测(如 GPQA、AIME)在高分段平滑降权;用其他评测估计局部区分度,得到单调的成绩变换。
- 变换后的成绩差经 tanh 化为方向证据,拟合带正则的 Bradley–Terry 复合似然,求出整张图上的能力位置。
- 能力位置按固定参考集标准化,显示为 0–100 指数:100·sigmoid(0.9·z − 1.8)。
综合指数
综合指数按推理 25%、代码 20%、智能体 20%、数学 15%、知识 10%、科学 10% 加权六个领域的标准分,再做同样的显示变换,不是六个显示分的平均。只有六个领域都有可排名实测的模型进入综合榜;缺一个领域就不进,不预测、不补零。
我的尺子
第一阶段(成绩变换、饱和门、显示标尺)冻结。你输入“A 强于 B / 相当”、置信度和可选的分差,算法学习各来源的权重倍率,以及有逐题数据的来源内部各题的权重,然后重新求解整个领域的图。原始成绩不变。
目标函数是判断损失加上两层 KL 约束(来源层、题目层),λ 越大越接近默认榜。外层通过隐式微分与 L-BFGS 优化;问题非凸,页面如实报告收敛、迭代上限或残差。综合判断与各领域判断可以一起拟合。
数据规则
- 缺测不是 0;真实跑完的 0 分保留。
- 带日期的版本按产品线逐一核查,不一律合并。
- 未披露推理力度的成绩不假设为最高档。
- 新数据先进入隔离候选,逐条审计后才入榜。
已知局限
- 只测过一个评测族的模型(如仅 ARC),在广义领域里可能被高估或低估。分榜默认不显示这类模型(它们仍参与拟合,可在筛选中选「含单族」查看)。
- 同一张满分表可以产生大量同向胜场;平局目前不提供约束。
- 饱和处理仍依赖登记的评测,自动识别尚未上线。
- 指数之间的小差距不一定可靠,目前没有显示区间。