AI Infra¶
AI Infra 记录训练、推理和模型工程化相关内容。这里关注的是“怎样把模型可靠、高效、可观测地跑起来”，包括数据管线、分布式训练、模型服务、推理优化和评测闭环。
目录¶
- PyTorch 后端
- 后端总览
- PrivateUse1 P0 链路
- 2D Padded Layout
- 后端路径图
- P1 Readiness 路线
- 训练
- 训练总览
- 数据与样本工程
- 分布式训练
- 训练调试与稳定性
- 推理
- 推理总览
- 模型服务
- 推理优化
- 评测与观测
- 硬件
- AI 加速器指标
关注维度¶
- 吞吐：单位时间处理多少样本或 token。
- 延迟：单次请求从进入系统到返回结果的时间。
- 显存：参数、激活、KV Cache、batch 对资源的占用。
- 成本：GPU 时间、存储、网络、运维复杂度。
- 稳定性：训练是否收敛，服务是否可用，结果是否可复现。
和理论笔记的分工¶
- 理论原理解释模型为什么能工作。
- AI Infra 解释模型如何在真实资源约束下工作。
- AI Agent 解释模型如何被组织成可完成任务的系统。