隔离环境、任务验收和过程轨迹比最终一句“完成了”更重要。
任务发生在可执行环境里
Terminal-Bench 由 Laude Institute 与 Harbor 维护,面向复杂终端任务。Agent 必须在实际环境中操作文件、工具和命令;评测者检查最终状态,而非只相信它的文字说明。
环境与验收需要成对设计
一个好的终端任务要能从相同初态重复运行,并有独立的测试判断任务是否完成。任务说明应给出足够信息,也要避免把解法直接写进输入。容器、依赖和资源限制需要固定,才能归因模型行为。
把轨迹变成数据资产
执行记录能揭示模型在哪一步误解目标、选错工具或处理错误失败。对训练与产品迭代而言,这些可定位的失败比单个通过率更有解释力。
基准修订本身就是实验数据
Terminal-Bench 官方在 2026 年发布 2.1 版时,修订了 2.0 版 89 个任务中的 28 个。公开说明列出外部依赖变化、资源预算不匹配和任务说明与测试不一致等问题;部分 Agent 与模型组合在修订后的成绩明显上升,官方报告最大增幅为 12.1%。由此不能推断模型突然更强,而应先问任务环境是否稳定、题意与验证是否一致。
我们会怎样做任务验收
每道终端任务应有固定镜像、资源上限、任务说明、独立测试和参考解。发布前至少验证参考解可通过、空白操作无法通过,并对多次冷启动执行比较结果。试跑后将失败分为环境故障、权限或资源限制、指令歧义、工具误用与真正的能力不足。这样,轨迹既能帮助改进 Agent,也能反过来修好题目。