指令微调 Instruction Tuning：数据集构建与训练技巧一、为什么大模型需要指令微调？2022 年底 ChatGPT 横空出世，惊艳世界的不只是它"能说话"，而是它几乎能理解任何形式的指令——总结文章、写代码、翻译、角色扮演，同一个模型完成了千差万别的任务。而它的基座模型 GPT-3.5，本质上只是一个"下一个 token 预测器"。这中间差的那一步，就是指令微调（Instruction Tuning）。预训练的大语言模型虽然在海量文本上学会了语言的统计规律，但它并没有"完成用户指令"的概念。如果你问 GPT-3 “给我写一首五言绝句”，它可能会续写你的话、重复类似问题，甚至给你一段关于诗歌的维基百科——因为它被训练的只是补全文本，而非遵循指令。指令微调的核心思想非常朴素：用（指令，回复）对来精调模型，让它学会"听到指令 → 给出有用回复"的行为模式。这个范式由 Google 的 FLAN 系列工作（2021-2022）系统化提出，随后被 InstructGPT、Alpaca、Vicuna 等大量工作验证和发扬。在我实际做过的几次微调项目中，有一个直观的对比：同一个 Llama-2-7B 基座，不做任何微调时面对"帮我写一段 Python 快速排序"会输出一段不知所云的乱码；用 52K 条 Alpaca 数据做 3 个 epoch 的指令微调后，它能输出完整可运行的代码，甚至加上注释。这种质的飞跃，就是指令微调的价值。二、指令微调的数学本质从训练角度看，指令微调和预训练用的是同一个语言模型损失函数——下一个 token 的交叉熵损失：L=−1N∑i=1NlogP(yi∣x,yi)\mathcal{L} = -\frac{1}{N} \sum_{i=1}^{N} \log P(y_i | x, y_{i})L=−N1i=1∑NlogP(yi∣x,yi)区别在于数据分布：预训练的数据是任意文本，而指令微调的数据是结构化的(指令, 回复)对。在实现层面，通常的构造方式是：输入序列：[INST] 指令文本 [/INST] 回复文本 eos训练时只对回复部分的 token 计算损失，指令部分的 token 用-100遮蔽（PyTorch 中CrossEntropyLoss(ignore_index=-100)会跳过这些位置的梯度计算）。这一步叫做loss masking，是保证模型学会"跟着指令回答"而非"背诵指令"的关键。用伪代码表示:defcreate_labels(input_ids,instruction_end_pos):"""只对回复部分计算损失"""labels=input_ids.clone()# 将指令部分标记为 -100（忽略损失）labels[:,:instruction_end_pos]