AI 理论原理

这一部分放 AI 的基础理论和模型原理：从传统机器学习、深度学习，到 NLP、CV、强化学习。这里不追求工具清单，而是记录“为什么这样做”“公式和结构如何对应到实现”“不同方法的适用边界”。

学习路线

1. 先建立机器学习的基本框架：数据、目标函数、优化、泛化。
2. 再进入深度学习：反向传播、网络结构、正则化、归一化、训练稳定性。
3. 根据方向分支到 NLP、CV、强化学习等主题。
4. 最后回到系统层面，理解训练与推理为什么会受到算力、显存、带宽和延迟约束。

目录

• 机器学习：监督学习、无监督学习、概率模型、评估指标。
• 深度学习：神经网络、优化算法、训练技巧、常见结构。
• 自然语言处理：语言模型、表示学习、Transformer、生成式模型。
• 计算机视觉：卷积网络、视觉 Transformer、检测、分割、多模态视觉。
• 强化学习：MDP、值函数、策略优化、RLHF/RLAIF 的理论背景。
• 其他专题：暂时无法归入主线的理论问题。

相关入口

• AI Infra：训练、推理、服务和优化。
• AI Agent：RAG、工具调用、上下文工程和评测。

笔记规范

• 每个主题先写问题定义，再写核心公式或结构。
• 记录“假设条件”和“失效场景”，不要只抄结论。
• 能和工程实践关联的地方，补一段“和训练/推理系统的关系”。