工程化与评测¶
Agent 工程化的核心目标是让系统从 demo 变成可维护、可观测、可迭代的产品能力。
工程化要点¶
- 状态管理：每一步的输入、输出、工具结果都要可追踪。
- 错误恢复：工具失败、模型输出格式错误、超时都要有处理策略。
- 权限控制：危险工具需要确认或隔离。
- 结果校验：重要结论需要证据或规则验证。
- 日志审计：记录模型版本、prompt、工具调用和最终结果。
评测维度¶
- 任务成功率。
- 步骤正确率。
- 工具调用准确率。
- 平均完成时间。
- 平均 token / API 成本。
- 幻觉率。
- 人工接管率。
测试集设计¶
测试集应该覆盖：
- 正常任务。
- 边界输入。
- 缺失信息。
- 工具错误。
- 权限不足。
- 长上下文任务。
- 需要引用来源的任务。
回归测试¶
每次改 prompt、工具 schema、模型版本或检索策略，都应该跑回归测试。Agent 的失败往往不是代码异常，而是行为质量退化。
上线策略¶
- 离线测试集评估。
- 小流量灰度。
- 记录全链路日志。
- 人工复核高风险样本。
- 根据失败样例迭代 prompt、工具和流程。