数据与样本工程

训练质量很大程度取决于数据质量。模型通常不会自动弥补系统性脏数据、重复数据或错误标签。

数据处理链路

• 收集：确定来源、许可、时间范围和领域覆盖。
• 清洗：去除乱码、模板噪声、重复内容、低质量样本。
• 标注：定义标签规范、质检规则和冲突处理。
• 切分：训练、验证、测试集避免泄漏。
• 版本化：记录数据快照、处理脚本和产出 hash。

大模型样本格式

预训练

关注文本质量、去重、领域配比和 token 分布。

指令微调

常见结构：

JSON

{
  "instruction": "任务说明",
  "input": "可选输入",
  "output": "期望回答"
}

偏好数据

常见结构：

JSON

{
  "prompt": "用户问题",
  "chosen": "更好的回答",
  "rejected": "较差的回答"
}

检查清单

• 是否存在训练集和测试集泄漏。
• 是否存在大量重复模板。
• 是否有与目标任务冲突的标签。
• 长度分布是否符合训练配置。
• 数据质量问题是否能追溯到源文件。