从文件堆到可复现的工程任务,仓库数据的边界如何确定。
仓库不是纯文本集合
SWE-bench 将真实 GitHub issue 与仓库状态结合,要求 Agent 修改代码并接受执行检验。这说明工程数据需要锁定版本、依赖和测试;脱离环境的代码片段,很难评价一次修改是否真正解决问题。
把可执行性放在前面
交付时应明确基准提交、构建命令、测试入口、资源限制与验收规则。对多仓库或多语言任务,还应检查许可证、重复仓库、生成文件和私有信息。参考补丁与隐藏测试必须和模型输入隔离。
质量来自失败分析
测试通过率只是一个信号。执行日志可以帮助定位环境故障、无效测试、依赖漂移或 Agent 的错误操作。可复现的失败,才能成为下一轮训练与评测的有效素材。
一个基准揭示的工程难度
SWE-bench 最初从 12 个 Python 仓库收集了 2,294 个真实 issue 与对应修复。在 2023 年论文发布时,其评测中表现最好的模型只解决了 1.96% 的问题。这个历史结果不能当作今天的模型水平;它说明仅靠生成一段看似合理的代码,与在特定仓库版本中完成修复,是不同的任务。
把仓库数据做成可比较的实验
我们建议以问题为单位固定基准提交、依赖和容器,记录修改前的失败测试与修改后的通过测试。对同一问题比较“只有问题描述”和“提供仓库检索工具”两种条件,观察定位耗时、无关文件修改量和隐藏测试通过率。失败时分开记录依赖无法安装、测试本身有误、定位错误和补丁错误;否则一个总通过率会掩盖数据与环境质量。