从标准题目走向职业任务、交付物和专家评审。
评测对象从回答变成交付
OpenAI 于 2025 年发布 GDPval,覆盖 44 个职业的真实经济工作任务。任务要求形成可被使用的交付物,而不是只回答一道知识题。这使材料完整性、格式、业务限制和交付质量成为评测的一部分。
专家比较有独特价值
GDPval 采用同领域专家对交付物进行比较。公开评分指南也说明,基于 Rubrics 的模型评分可用于粗略估计,但专业任务的细微差异仍需要人类判断。由此,评测数据应保留专家结论和理由,而不只存一个分数。
如何用于自己的数据设计
可以从一个真实岗位、明确的任务时点、可提供的材料和可验收的产出开始。再通过试跑校准任务难度与 Rubrics。CausalMind 的同类场景设计与 GDPval 官方数据互不等同。
数字背后是怎样的评审
GDPval 的完整集合有 1,320 个任务,其中 220 个属于公开 gold 子集。任务覆盖 9 个行业、44 个职业,并要求文档、表格、演示文稿等具体交付物。官方评测让同职业专家在不知道作者身份的情况下比较模型与人工成果,再给出“更好、相当或更差”的判断。自动评分器可用于快速估计,但官方明确不以它替代专家评审。
单次交付之外还缺什么
GDPval 官方也指出首版主要是一次性交付,尚未覆盖多轮沟通和修改。真实工作中,一份报告可能要在客户补充限制、数据更新或发现反证后重写。因此,我们更关注任务链:初稿、专家反馈、修订和最终验收分别留档,评分时区分资料使用、事实正确、格式可用和反馈采纳。用同一份初稿设计有反馈与无反馈两组试验,才能看出模型是否真正从专业意见中改进。