状态、工具、重置与验证决定 Agent 能学到什么。
先定义任务世界
可交互环境需要明确初始状态、可观察信息、可执行动作和状态转移。对企业流程而言,这可能是订单、库存、物流和客户记录,以及被限制的查询或操作工具。任务必须说明 Agent 在何时可以看到什么。
重置与验证同样重要
如果同一任务无法回到相同初态,训练和比较都会失真。结果验证也不能只看最终文字:状态变化、业务规则、时间约束和副作用都可能是必要条件。应尽量防止模型靠猜测或绕过流程获得高分。
专家反馈补足程序判断
对于开放式工作,程序化验收与专家 Rubrics 可以结合使用。前者检查硬约束,后者评价专业质量;对两者不一致的案例,应回到任务定义和证据进行复核。
接口规范为何会影响结论
Gymnasium 的标准交互由 reset 建立初态,由 step 返回新观察、奖励、终止与截断信号。这些字段看似基础,但在业务环境中分别对应可见状态、动作后果、目标完成与资源耗尽。若把“超时”误记为“完成”,或重置时保留了上一轮订单状态,同一个 Agent 的分数就不再可比。
一个可复核的环境试验
针对订单异常任务,可先制作正常履约、库存不足、物流延迟、权限不足四组状态。每组固定种子重复运行,记录任务完成率、越权操作率、无效工具调用数、回滚次数和最终数据库差异。评分器先检查不可违反的权限与状态规则,再评价处理质量。对所有得分异常高的轨迹进行人工抽查,查找直接猜中终态或利用工具漏洞的路径;修复后重新跑同一批种子。