自然语言处理

自然语言处理研究如何让模型理解、生成和操作文本。当前主线已经从特征工程转向预训练语言模型，但传统任务和基础概念仍然是理解大模型的必要背景。

基础任务

• 文本分类：情感分析、主题分类、意图识别。
• 序列标注：分词、词性标注、命名实体识别。
• 文本匹配：检索、问答、语义相似度。
• 文本生成：摘要、翻译、对话、代码生成。

语言模型

语言模型的目标是估计文本序列的概率：

\[ P(x_1, x_2, \dots, x_n)=\prod_{t=1}^{n}P(x_t|x_{<t}) \]

这个自回归分解是 GPT 类模型的基础。理解它有助于解释上下文窗口、采样策略、困惑度和推理延迟。

Transformer 关键概念

• Tokenization：把文本切成模型可处理的 token。
• Embedding：把离散 token 映射到连续向量。
• Self-Attention：在序列内部建立依赖关系。
• Position Encoding：注入位置信息。
• Feed Forward Network：逐 token 的非线性变换。

大模型相关主题

• 预训练：在大规模语料上学习通用语言能力。
• 指令微调：让模型遵循任务指令。
• 对齐：通过偏好数据约束模型行为。
• 长上下文：扩展模型处理长文档和复杂任务的能力。

待补充

• BPE / WordPiece / SentencePiece 对比。
• Attention 的复杂度和 KV Cache。
• RAG 与纯参数记忆的边界。