Research Notes

值得关注的最佳编程智能体基准测试

10 min read

Snapshot: 2026-06-12.

目的：追踪那些仍能在真实软件工程任务中区分前沿模型的编程智能体基准测试。

先说结论

就编程而言，我会重新排列这五个模型系列如下：

  1. GPT-5.5 / GPT-5.4 / Codex 系列
  2. Claude Fable 5 / Claude Opus 系列
  3. Gemini 3 / Gemini 3.1 系列
  4. GLM / Kimi / Qwen / MiniMax 中国前沿模型
  5. DeepSeek V3.2 / V4 系列

排序理由：

  • GPT-5.5 在 DeepSWE 和 Terminal-Bench 2.1 上领先，GPT-5.4 在标准化的 SWE-bench Pro 公开排行榜上领先。
  • Claude Opus 仍是代码质量和可合并性的最佳证明；Opus 4.8 在 FrontierCode Diamond 上领先，Opus 4.8/4.6 在 Terminal-Bench 和 SWE-bench Pro 上均表现强劲。
  • Fable 5 在编程方面很可能应排在顶部或接近顶部位置，但此处查阅的几个一手来源的非饱和编程基准测试尚未直接包含 Fable 5 的数据行。
  • Gemini 在 Terminal-Bench 和 SWE-bench Pro 上表现强劲，但在所查的公开快照中，其 DeepSWE 得分较低。
  • 中国前沿模型现已真正具备竞争力，但最佳行因基准而异：Kimi 在 DeepSWE 上领先，GLM 在 Terminal-Bench 2.1 上领先，Qwen 在 SWE-bench Pro 上领先，DeepSeek 在 SWE-rebench 上领先。

顶级基准测试

排名基准测试最佳用途当前最高分信号饱和度评估
1DeepSWE长周期仓库工程gpt-5.5[xhigh]: 70% ± 3非常有用的区分度指标
2FrontierCode Diamond可合入的生产级代码Claude Opus 4.8: 13.4 分远未饱和
3SWE-bench Pro真实仓库难题解决gpt-5.4 (xHigh): Scale 公开榜 59.10 ± 3.56尚未饱和，但对脚手架敏感
4Terminal-Bench 2.1终端自主能力、调试、构建Codex CLI + GPT-5.5: 83.4% ± 2.2仍有参考价值，但变化很快
5SWE-rebench滚动去污染的 SWE 任务Claude Code: 已检查公开视图 62.1%有用的滚动信号

不要再将 SWE-bench Verified 作为主要的边界信号。可将其保留为兼容性/参考基准，因为它广泛使用且易于对比，但它已相当接近饱和。

模型排名

这是一个基于已核查基准的主观排名。它不是纯粹的加权平均：每个基准测试的内容不同，且往往将模型质量与智能体框架质量混在一起。

编码智能体综合排名

  1. GPT-5.5 / GPT-5.4 / Codex 系列

    当前在困难的长期编码任务上有最佳证据。GPT-5.5 领跑 DeepSWE 和 Terminal-Bench 2.1；GPT-5.4 领跑 Scale SWE-bench Pro 公开排行榜。

  2. Claude Fable 5 / Claude Opus 系列

    在可维护代码和智能体代码审核质量方面是最佳选择。Opus 4.8 领跑 FrontierCode Diamond，Opus 4.8/4.6 在 Terminal-Bench 和 SWE-bench Pro 上表现强劲。Fable 5 的编码得分报告很高，但在本文核查的几个最困难基准页面上仍缺少直接的主要测试行。

  3. Gemini 3 / Gemini 3.1 系列

    在终端和 SWE-bench Pro 上的有力竞争者。弱点是 DeepSWE：Gemini 3.1 Pro 在已核查的 DeepSWE 快照中仅得 10%。

  4. GLM / Kimi / Qwen / MiniMax 中国前沿模型

    当前编码能力最广泛的中国前沿模型组。Kimi K2.6 是核查到的中国模型系列中 DeepSWE 得分最高的测试行，GLM 5.1 出现在 Terminal-Bench 2.1 上，Qwen3 Coder 在 SWE-bench Pro 上表现强劲，GLM/Kimi/Qwen 也出现在多个滚动式 SWE 类评估中。

  5. DeepSeek V3.2 / V4 系列

    值得关注，但在已核查的最困难编码智能体基准上说服力不足。DeepSeek V3.2 在 SWE-rebench 上表现良好，而 DeepSeek V4 Pro 在 DeepSWE 上表现较弱，DeepSeek V3.2 在 Scale SWE-bench Pro 公开排行榜上排名偏低。

按任务类型

长周期仓库工程：

  1. GPT-5.5
  2. Claude Opus 4.8 / 4.7
  3. GPT-5.4
  4. Kimi K2.6
  5. GLM-5.1 / DeepSeek V4 Pro

可合入的生产代码：

  1. Claude Opus 4.8
  2. GPT-5.5
  3. Gemini 3.1 Pro
  4. Kimi K2.6
  5. 从已验证的 FrontierCode 来源中，尚无确定的 DeepSeek/GLM 行

终端编码任务：

  1. GPT-5.5
  2. Claude Opus 4.8
  3. Gemini 3 / Gemini 3.1
  4. GLM 5.1
  5. DeepSeek 需要当前的 Terminal-Bench 2.1 数据行

滚动式 GitHub Issue 修复：

  1. Claude Code / Claude Opus 系列
  2. GPT-5.2 / GPT-5 / Codex 系列
  3. Gemini 3 Pro Preview
  4. DeepSeek V3.2
  5. GLM / Kimi / Qwen

评分卡

1. DeepSWE

最佳适用场景：针对原创任务的长期软件工程。

当前已验证的顶级排行：

  • gpt-5.5[xhigh]：70% +/- 3
  • claude-opus-4.8[max]：58% +/- 2
  • gpt-5.4[xhigh]：56% +/- 2
  • claude-opus-4.7[max]：54% +/- 5
  • kimi-k2.6：24% +/- 2
  • glm-5.1：18% +/- 1
  • gemini-3.1-pro：10% +/- 3
  • deepseek-v4-pro：8% +/- 3

关注理由：这是目前对长周期编码智能体最纯粹的公开压力测试。任务均为原创，抗污染能力强，且在统一的小型 SWE-agent 框架下运行。

2. FrontierCode Diamond

最佳适用场景：可维护、可合入的生产代码质量评估。

当前已验证的顶级排行：

  • Claude Opus 4.8：Diamond 得分 13.4
  • GPT-5.5：Diamond 得分 6.3
  • Gemini 3.1 Pro：Diamond 得分 4.7
  • Kimi K2.6：Diamond 得分 3.8

关注理由：它评估的是代码是否真的能被维护者合入，而不仅仅是隐藏的单元测试能否通过。这可能是目前最好的「质量、范围、风格、测试与可维护性」综合信号。

3. SWE-bench Pro

最佳用途：解决真实的复杂仓库 issue。

当前 Scale 公开排行榜已检查的行：

  • gpt-5.4 (xHigh)：59.10 ± 3.56
  • claude-opus-4-6 (thinking)：51.90 ± 3.61
  • gemini-3.1-pro (thinking)：46.10 ± 3.60
  • gemini-3-pro-preview：43.30 ± 3.60
  • gpt-5-2025-08-07 (High)：41.78 ± 3.49
  • qwen3-coder-480b-a35b：38.70 ± 3.55
  • minimax-2.1：36.81 ± 3.55
  • deepseek-v3p2：15.56 ± 2.63
  • glm-4.6：9.67 ± 2.15

为何关注：它是 SWE-bench Verified 难度更高的后继信号。请使用 Scale 公开排行榜进行标准化对比；将厂商自报的 Fable/Mythos 行单独存放，因为 scaffold 和数据集切分方式不同。

4. Terminal-Bench 2.1

最佳用途：通过终端进行编程：构建、安装、调试、CLI 工作流。

当前官方已检查的行：

  • Codex CLI + GPT-5.5：83.4% ± 2.2
  • Claude Code + Claude Opus 4.8：78.9% ± 2.5
  • Terminus 2 + GPT-5.5：78.2% ± 2.4
  • Terminus 2 + Claude Opus 4.8：74.6% ± 2.4
  • Terminus 2 + Gemini 3 Pro：74.4% ± 2.6
  • Gemini CLI + Gemini 3.1 Pro：70.7% ± 2.9
  • Claude Code + GLM 5.1：58.7% ± 2.4

为何关注：它衡量的是智能体是否真的能在 shell 中工作，而不仅仅是产生补丁。

5. SWE-rebench

最佳用途：持续更新且去污染的 SWE 风格任务。

当前公开视图已检查的行：

  • Claude Code：62.1%
  • gpt-5.2-2025-12-11-medium：61.3%
  • Claude Sonnet 4.5：60.9%
  • Claude Opus 4.5：60.4%
  • gpt-5-2025-08-07-medium：58.7%
  • Gemini 3 Pro Preview：56.6%
  • gpt-5-codex：51.1%
  • DeepSeek-V3.2：46.4%
  • GLM-4.6：46.0%
  • Kimi K2 Instruct 0905：41.7%
  • Qwen3-Coder-480B-A35B-Instruct：39.1%

为何关注：它持续更新，因此比固定排行榜更难过拟合。

关注清单

将这些作为辅助信号：

  • CodeClash - 面向目标的软件工程；想法不错，但公开排行榜较旧，尚未清晰覆盖最新的五个模型家族。
  • SWE-bench Verified - 在可比性上仍然重要，但对前沿排名而言已经过于饱和。
  • SWE-bench Multilingual - 当非 Python/产品栈广度重要时有用。
  • SWE-Bench Mobile - 对工业级移动端工作有用，但作为前沿模型追踪器覆盖面不够广。
  • SWE-WebDevBench - 对应用构建/产品就绪性声明有用。

刷新协议

  • 保持模型与脚手架绑定。Codex CLI + GPT-5.5 与 Terminus 2 + GPT-5.5 是不同的声明。
  • 保持基准测试拆分独立。SWE-bench Pro 的公开、私有、供应商报告和 Scale 标准化各列不可互换。
  • 在追踪前沿编程智能体时，优先选择 DeepSWE、FrontierCode Diamond、SWE-bench Pro、Terminal-Bench 2.1 和 SWE-rebench，而非 SWE-bench Verified。
  • 将缺失的 Fable 5 行视为缺失行，而非弱评分。
  • 仅在检查当前主要排行榜后，才对模型家族重新排名。

参考资料