02 / EXPERT / JUDGMENT
专家任务与判断轨迹
保留专业判断的上下文、行动、证据与反馈。
SFTRLHFGDPvalALE Task
覆盖 SFT、RLHF、GDPval 风格职业交付任务与 ALE Task 等方向。根据训练或评测目标,组织专家示范、偏好比较、评分理由和可复核的交付物;具体公开基准名称仅说明任务形态。
DELIVERY / CONTENT
交付什么
具体范围按项目需求、授权与安全边界确定。
- 01任务资料、时点与交付规范
- 02专家示范、偏好对与判断轨迹
- 03Rubrics、证据引用、复核及分歧记录
SCENARIO / EXAMPLE
数据场景示例
研究员收到更新后的行业材料,先对照旧假设,再找出支持与反对证据,形成一份有引用的判断备忘录;评审分别记录事实、推理和交付质量。
QUALITY SIGNAL / 02
如何检查质量
检查证据可追溯、时点一致、专家分歧可解释,并避免把评测答案混入训练输入。
CONTEXT→ACTION→FEEDBACK