CausalMind汇流知行
← 返回技术博客

代码仓库数据:真正的样本是“问题 + 环境”

从文件堆到可复现的工程任务,仓库数据的边界如何确定。

从文件堆到可复现的工程任务,仓库数据的边界如何确定。

公开研究 / 方法依据

以上为公开研究结果或接口依据,并非 CausalMind 自有实验成绩。

仓库不是纯文本集合

SWE-bench 将真实 GitHub issue 与仓库状态结合,要求 Agent 修改代码并接受执行检验。这说明工程数据需要锁定版本、依赖和测试;脱离环境的代码片段,很难评价一次修改是否真正解决问题。

把可执行性放在前面

交付时应明确基准提交、构建命令、测试入口、资源限制与验收规则。对多仓库或多语言任务,还应检查许可证、重复仓库、生成文件和私有信息。参考补丁与隐藏测试必须和模型输入隔离。

质量来自失败分析

测试通过率只是一个信号。执行日志可以帮助定位环境故障、无效测试、依赖漂移或 Agent 的错误操作。可复现的失败,才能成为下一轮训练与评测的有效素材。

一个基准揭示的工程难度

SWE-bench 最初从 12 个 Python 仓库收集了 2,294 个真实 issue 与对应修复。在 2023 年论文发布时,其评测中表现最好的模型只解决了 1.96% 的问题。这个历史结果不能当作今天的模型水平;它说明仅靠生成一段看似合理的代码,与在特定仓库版本中完成修复,是不同的任务。

把仓库数据做成可比较的实验

我们建议以问题为单位固定基准提交、依赖和容器,记录修改前的失败测试与修改后的通过测试。对同一问题比较“只有问题描述”和“提供仓库检索工具”两种条件,观察定位耗时、无关文件修改量和隐藏测试通过率。失败时分开记录依赖无法安装、测试本身有误、定位错误和补丁错误;否则一个总通过率会掩盖数据与环境质量。

一手资料

本文为 CausalMind 的技术解读;文中基准名称均指向其原始项目。