深度学习¶
深度学习的核心是用多层可微函数逼近复杂映射，并通过反向传播和梯度优化从数据中学习参数。这里重点记录网络结构、训练稳定性和模型能力来源。
基础组件¶
- 张量：模型计算的基本数据结构。
- 参数：可学习权重和偏置。
- 激活函数：ReLU、GELU、SiLU、Sigmoid、Tanh。
- 损失函数：交叉熵、MSE、对比损失、排序损失。
- 优化器：SGD、Momentum、Adam、AdamW。
训练流程¶
- 前向传播得到预测结果。
- 计算损失函数。
- 反向传播计算梯度。
- 优化器更新参数。
- 在验证集上监控泛化能力。
重要主题¶
网络结构¶
- MLP：最基础的全连接网络。
- CNN：适合局部相关和空间结构。
- RNN/LSTM/GRU：早期序列建模结构。
- Transformer：当前语言模型和多模态模型的主干。
训练稳定性¶
- 初始化：控制信号和梯度的尺度。
- 归一化：BatchNorm、LayerNorm、RMSNorm。
- 正则化：Dropout、Weight Decay、Data Augmentation。
- 学习率调度：Warmup、Cosine、Step Decay。
和工程系统的关系¶
理论上的“训练一个模型”，在工程上会变成显存、吞吐、通信、容错和成本问题。理解模型结构能帮助判断：
- 哪些层是显存瓶颈。
- 哪些算子是吞吐瓶颈。
- 哪些参数适合并行切分。
- 哪些精度格式可能影响收敛。
待补充¶
- 反向传播推导。
- Transformer Block 的完整计算图。
- 混合精度训练为什么有效。