模型服务

模型服务把模型封装成可调用接口，并负责并发、限流、鉴权、日志、监控和故障恢复。

服务形态

• 离线 batch 推理：吞吐优先，延迟要求低。
• 在线同步推理：延迟敏感，接口直接返回结果。
• 流式推理：边生成边返回，改善用户感知延迟。
• 多模型服务：路由到不同模型或不同版本。

API 设计

常见字段：

• model：模型或版本。
• messages / prompt：输入内容。
• temperature：采样随机性。
• top_p / top_k：采样截断策略。
• max_tokens：最大生成长度。
• stream：是否流式返回。

运维关注点

• 模型冷启动时间。
• GPU worker 健康检查。
• 请求超时和取消。
• 日志脱敏。
• 灰度发布和回滚。
• 配额和限流。