怎么读那些基准表

怎么读那些基准表 由 Archify 生成的数据流图。 01 / 每家模型卡 02 / 对比对象 03 / 评测 harness 04 / 能读什么 Meta 模型卡 · Muse-Glimmer 30B · 01 / 每家模型卡 · 2026-08-10 Meta 模型卡 Muse-Glimmer 30B 2026-08-10 Qwen 模型卡 · Qwen3.8-27B · 01 / 每家模型卡 · 2026-08-14 Qwen 模型卡 Qwen3.8-27B 2026-08-14 Qwen3.6-27B · 上一代 · 02 / 对比对象 · 2026-04 Qwen3.6-27B 上一代 2026-04 Muse-Glimmer 30B · 当前发布 · 02 / 对比对象 · 2026-08 Muse-Glimmer 30B 当前发布 2026-08 Meta 的 harness · SWE-bench Verified · 03 / 评测 harness · 自家 setup Meta 的 harness SWE-bench Verified 自家 setup Qwen 的 harness · Claude Code，256K · 03 / 评测 harness · 自家 setup Qwen 的 harness Claude Code，256K 自家 setup SWE-bench Pro 51.2 · 两边同 harness · 04 / 能读什么 · 已对齐 SWE-bench Pro 51.2 两边同 harness 已对齐 读数规则 · 表内相对差 · 04 / 能读什么 · 跨表打折 读数规则 表内相对差 跨表打折 对比的是 Meta 的选法 对比的是 Qwen 的选法 在…下评测 厂商 setup 在…下评测 厂商 setup SWE-bench Pro 公开 harness 同为 51.2 公开 harness 唯一对齐的行 注意项 图例 主要数据 策略 / PII 异步批处理 数据存储 数据流

镜像

  • • Qwen 卡引 Muse SWE-bench Pro 51.2、OSWorld 65.9
  • • Meta 卡引 Qwen3.6 SWE-bench Verified 77.2、OSWorld 75.6
  • • 各家拿自己选的对方代次做基准

唯一对齐的数字

  • • Claude Code 上的 SWE-bench Pro 是两表共享的唯一一行
  • • Muse 落后 Qwen3.8 的 61.7 共 10.5、Qwen3.6 的 53.5 共 2.3
  • • 同代同 harness 的表目前都还没有

规则

  • • 同一张表内的相对差可以读
  • • 跨表读的绝对值：打折
  • • 厂商头条数字是声明，不是测量