评测与观测¶
推理系统不能只看“能否返回”。还需要持续评估输出质量、延迟、成本和异常行为。
质量评测¶
- 准确性：答案是否正确。
- 完整性：是否覆盖必要信息。
- 一致性：相同输入是否稳定。
- 鲁棒性：面对噪声和边界输入是否可靠。
- 安全性：是否出现不合规输出。
系统指标¶
- QPS。
- P50 / P95 / P99 延迟。
- 首 token 延迟。
- tokens/s。
- GPU 利用率。
- 显存占用。
- 错误率和超时率。
观测数据¶
- 请求日志。
- 采样参数。
- prompt 和输出长度。
- 模型版本。
- 触发的工具或检索结果。
- 用户反馈。
闭环¶
评测不是一次性动作。好的推理系统应该把线上日志、人工标注、自动评测和回归测试串起来，形成模型迭代闭环。