CausalMind汇流知行
← 返回技术博客

Terminal-Bench:终端任务如何测出真实执行力

隔离环境、任务验收和过程轨迹比最终一句“完成了”更重要。

隔离环境、任务验收和过程轨迹比最终一句“完成了”更重要。

公开研究 / 方法依据

以上为公开研究结果或接口依据,并非 CausalMind 自有实验成绩。

任务发生在可执行环境里

Terminal-Bench 由 Laude Institute 与 Harbor 维护,面向复杂终端任务。Agent 必须在实际环境中操作文件、工具和命令;评测者检查最终状态,而非只相信它的文字说明。

环境与验收需要成对设计

一个好的终端任务要能从相同初态重复运行,并有独立的测试判断任务是否完成。任务说明应给出足够信息,也要避免把解法直接写进输入。容器、依赖和资源限制需要固定,才能归因模型行为。

把轨迹变成数据资产

执行记录能揭示模型在哪一步误解目标、选错工具或处理错误失败。对训练与产品迭代而言,这些可定位的失败比单个通过率更有解释力。

基准修订本身就是实验数据

Terminal-Bench 官方在 2026 年发布 2.1 版时,修订了 2.0 版 89 个任务中的 28 个。公开说明列出外部依赖变化、资源预算不匹配和任务说明与测试不一致等问题;部分 Agent 与模型组合在修订后的成绩明显上升,官方报告最大增幅为 12.1%。由此不能推断模型突然更强,而应先问任务环境是否稳定、题意与验证是否一致。

我们会怎样做任务验收

每道终端任务应有固定镜像、资源上限、任务说明、独立测试和参考解。发布前至少验证参考解可通过、空白操作无法通过,并对多次冷启动执行比较结果。试跑后将失败分为环境故障、权限或资源限制、指令歧义、工具误用与真正的能力不足。这样,轨迹既能帮助改进 Agent,也能反过来修好题目。

一手资料

本文为 CausalMind 的技术解读;文中基准名称均指向其原始项目。