从标准答案走向有上下文、有证据、可复核的专业过程。
答案只是终点
在复杂专业任务中,相同结论可能来自完全不同的路径。训练数据若只保留最终文字,就无法区分可靠的证据推导与偶然猜中。任务的时间边界、可用材料、专业约束和交付格式,应与答案一起成为样本的一部分。
让专家判断可以被检查
一条有用的专家轨迹应记录关键行动、证据来源、取舍理由和不确定性。专家 Rubrics 可以把事实准确性、证据充分性、约束遵守和表达质量拆开评价;当评审不一致时,保留分歧并修改任务或评分标准,比强行合成单一标签更有价值。
从数据生产回到模型反馈
高质量数据不是一次性标注完成。真实试跑会暴露题目泄漏、评分歧义或环境缺口,再将这些发现反馈到样本设计。专业数据的核心是可追溯的质量闭环。
公开研究给出的尺度
GDPval 首版有 1,320 个任务,覆盖 44 个职业;任务作者平均有超过 14 年相关经验,每道题平均经过 5 轮审查。这个投入说明,专业样本的难点并不只是请专家写一份答案,而是确认任务是否典型、输入是否足够、另一位同行是否能公平评价。OpenAI 的企业评测指南还建议先人工查看 50 至 100 个早期输出,以建立可操作的错误分类。
我们会怎样验证一条专家轨迹
以同一份材料给两位独立专家完成任务,分别记录结论、关键证据、放弃的备选路径和不确定点。再由第三位评审在看不到作者身份的情况下,按事实、证据、业务约束和表达四个维度评分。若分歧集中在任务理解,先改写题目;若分歧集中在评分边界,先修订 Rubric。只有在输入、输出和评审理由都可追溯时,这条轨迹才适合进入训练或评测。