机器学习

机器学习关注如何从数据中学习可泛化的规律。相比深度学习的模型结构细节，这里更适合记录问题建模、损失函数、评估指标和泛化分析。

知识框架

问题类型

• 监督学习：分类、回归、排序。
• 无监督学习：聚类、降维、密度估计。
• 半监督与自监督：利用未标注数据构造学习信号。
• 概率建模：用分布、似然和先验表达不确定性。

核心概念

• 数据分布：训练集、验证集、测试集是否同分布。
• 模型假设：线性、非线性、独立性、平滑性等。
• 目标函数：经验风险、正则项、约束项。
• 泛化能力：偏差-方差、过拟合、欠拟合。

常用算法

• 线性模型：线性回归、逻辑回归、Softmax 回归。
• 树模型：决策树、随机森林、GBDT、XGBoost。
• 核方法：SVM、核岭回归。
• 聚类与降维：K-Means、GMM、PCA、t-SNE、UMAP。

评估

• 分类：Accuracy、Precision、Recall、F1、AUC。
• 回归：MAE、MSE、RMSE、R2。
• 排序：MRR、NDCG、Hit Rate。
• 校准：ECE、Brier Score。

待补充

• 经验风险最小化与结构风险最小化。
• 贝叶斯视角下的正则化。
• 树模型与深度模型在表格数据上的对比。