SYSTEM1BENCH
决策模型排行榜OPEN BENCHMARK
决策专用模型与通用大模型的分类、稳健性、概率及延迟评测。
固定评测集版本、样本与协议公开
—评测模型
7当前综合榜领域
9当前综合榜分类任务
23 个模型，同一套 9 项任务。
不包含两项意图识别测试。
不包含两项意图识别测试。
综合表现
01
评分口径
分类指标列出正确数与样本数。综合分按领域等权平均，不是所有决策的整体准确率。
02
稳健性指标
分别测试选项换序和关键事实反转。配对准确率要求原始题和变体均回答正确。
03
延迟测量
同一显卡、相同语义字段数，记录完整请求耗时。托管 API 和外部硬件结果另列。