第十八章LLM Training and Applications — 知识点笔记综合来源Lecture 18 PDF44页、课堂笔记CSDN占位图18.1 LLM完整推理流程输入文本 → Tokenization → Embedding查表 → PE → Decoder Transformer (L层) → 最后token输出 → Linear(Vocab) → Softmax → 下一token概率各步骤详解步骤操作TokenizationBPE分词→Token ID序列Embedding查表学习的嵌入表→V×DV\times DV×D→查ID得向量位置编码PE可选有些模型用RoPE融入AttentionTransformerL层Decoder BlockMasked AttnMLP残差LN输出层最后token→Linear投影→VVV维logits→Softmax→概率分布18.2 GPT 生成式预训练Transformer ⭐字母含义G(Generative)生成式—建模文本的创建P(Pretrained)预训练—在海量自然数据上训练T(Transformer)神经网络架构预训练Pre-training单段文本→每个token都是训练样本最大化下一token的似然MLE→交叉熵损失每个位置的输出预测下一个token预训练规模Llama-3 405B15.6T tokens训练数据16K H100 GPU39.3M GPU小时数据混合Data Mix多源数据→学习通用模式18.3 后训练Post-training⭐GPT alone can’t chat!— 预训练只能补全文本不会对话三种后训练方法方法核心数据SFT监督微调标注的指令-回答对→微调高质量对话数据RLHF人类反馈强化学习人类偏好→训练奖励模型→PPO强化学习人类偏好对比DPO直接偏好优化直接用偏好数据→MLE训练→更简单稳定人类偏好对比18.4 LoRA低秩适应⭐核心思想W′WAB\mathbf{W} \mathbf{W} \mathbf{A}\mathbf{B}W′WABW∈Rm×n\mathbf{W}\in\mathbb{R}^{m\times n}W∈Rm×n预训练权重冻结A∈Rm×r,B∈Rr×n\mathbf{A}\in\mathbb{R}^{m\times r}, \mathbf{B}\in\mathbb{R}^{r\times n}A∈Rm×r,B∈Rr×n低秩r≪m,nr\ll m,nr≪m,n可学习B\mathbf{B}B初始化为0→训练前等价于原模型优势极少可训练参数→降低微调成本缓解灾难性遗忘可应用于模型所有权重18.5 关键应用技术 ⭐RAG检索增强生成用户问题 → Retriever检索相关文档 → 增强Prompt → LLM生成答案为LLM注入外部专业知识→无需重新训练Chain-of-Thought思维链提示模型一步步思考→生成长推理链DeepSeek-R1/ChatGPT-O1的核心能力行为规划反思自我修正回溯Agentic Systems智能体系统用户目标 → LLM(推理工具调用) → 工具执行 → 观察结果 → LLM再次推理 → ...ReAct AgentReasoning Acting循环工具搜索、计算器、邮件等→LLM主动调用In-Context LearningZero-shot直接提问依赖已有知识Few-shot给几个例子→模型模仿视觉语言模型VLM视觉编码器→图像patch→token embeddingsLearned Adapter→将图像embedding映射到LLM token空间统一表示→多模态推理笔记中的图片索引序号图片内容描述来源位置图1LLM推理完整流程Lecture 18 第3-10页图2预训练Masked LM vs Causal LMLecture 18 第14-17页图3VLM架构Vision EncoderAdapter→LLMLecture 18 第19-22页图4RLHF流程图Lecture 18 第31页图5RAG架构Lecture 18 第35页图6CoT推理示例(450行)Lecture 18 第38页图7Agentic System循环Lecture 18 第39-43页笔记整理时间2026年6月30日