1. 引言现在的 AI 岗位面试早已不是背几个 API、调几个包就能过关的时代了。面试官们越来越喜欢“扒底裤”——从 Transformer 的注意力机制为什么 work到反向传播的梯度消失怎么解决再到部署时 ONNX 和 TensorRT 的优化原理每一个环节都可能成为追问的焦点。这篇文章的目标就是帮你把这些“底层原理”彻底理清。我们不谈虚的只讲面试中最高频、最硬核的知识点从模型结构、训练原理、优化技巧到部署落地一次性讲透。2. 模型结构Transformer 为什么是基石2.1 自注意力机制Self-Attention面试官最爱问“请解释一下 Scaled Dot-Product Attention 的公式以及为什么要除以 sqrt(d_k)”公式如下Attention(Q, K, V) softmax(Q * K^T / sqrt(d_k)) * V核心思想让序列中的每个 token 都能“看到”所有其他 token从而捕捉长距离依赖关系。为什么除以 sqrt(d_k)当 d_k 很大时Q 和 K 的点积结果会变得非常大导致 softmax 进入梯度极小的饱和区。除以 sqrt(d_k) 可以将方差拉回到 1 左右保持梯度稳定让训练更顺畅。2.2 多头注意力Multi-Head Attention“为什么不用一个头要用多个头”单一注意力头只能学习一种“关系模式”比如语法关系或语义相似性。多头机制将 Q、K、V 分别投影到多个低维子空间每个头独立学习不同的注意力模式如位置关系、语义关系、句法关系等最后拼接起来让模型表达能力更强。2.3 位置编码Positional Encoding“Transformer 没有 RNN 的循环结构怎么知道词的顺序”使用正弦/余弦函数生成固定位置编码或者使用可学习的位置编码。正弦编码的优点是可以外推到比训练时更长的序列且不同位置的编码可以通过线性变换相互表示。3. 训练原理反向传播与优化器3.1 反向传播Backpropagation面试官“请手写一个简单的反向传播推导。”核心是链式法则从损失函数开始逐层向前计算梯度更新每一层的参数。∂L/∂w ∂L/∂y * ∂y/∂z * ∂z/∂wL损失函数y输出z线性变换结果z w*x bw权重3.2 梯度消失与梯度爆炸“为什么深层网络难训练”梯度消失使用 Sigmoid/Tanh 激活函数时导数在饱和区趋近于 0多层相乘后梯度指数级衰减浅层参数几乎不更新。梯度爆炸权重初始化过大或网络过深梯度指数级增长导致参数震荡甚至 NaN。解决方案使用 ReLU 及其变体Leaky ReLU、GELU。残差连接Residual Connection让梯度可以直接“跳过”某些层。层归一化LayerNorm稳定每层的输入分布。梯度裁剪Gradient Clipping限制梯度最大值。3.3 优化器进化史“SGD、Adam、AdamW 有什么区别”优化器特点适用场景SGD简单收敛稳定但需要手动调学习率小批量、CV 任务Adam自适应学习率 动量收敛快NLP、大模型预训练AdamW修正了 Adam 的权重衰减实现方式泛化更好大模型微调、LLM 训练AdamW 为什么更好Adam 把 L2 正则化权重衰减和自适应学习率耦合在一起导致正则化效果被削弱AdamW 将两者解耦在更新参数时独立应用权重衰减效果更稳定。4. 大模型LLM专项面试题4.1 预训练与微调“什么是 Pre-training 和 Fine-tuning”预训练在海量无标注数据上训练模型学习通用的语言表示如 BERT、GPT。微调在预训练模型基础上用少量标注数据适配特定任务如分类、问答。4.2 LoRALow-Rank Adaptation“大模型微调太贵了怎么省钱”LoRA 的核心思想冻结预训练权重在模型层旁插入低秩矩阵A * B只训练这些矩阵。h W_0 * x (B * A) * x参数量从 d * k 降到 d * r r * kr d, k。训练完成后可以将 LoRA 权重合并回原模型推理时零额外开销。4.3 推理优化KV Cache“为什么大模型推理时生成第一个 token 最慢”KV Cache在自回归生成时将已生成 token 的 Key 和 Value 缓存起来避免重复计算。第一个 token 需要计算所有位置的 K、V后续 token 只需计算当前 token 的 K、V然后拼接缓存因此第一个 token 最慢。5. 部署与推理优化5.1 模型量化“FP16、INT8 量化是怎么做到的”FP16将 FP32 的权重和激活值转为 FP16显存减半速度提升。INT8 量化将 FP32 映射到 INT8 范围-128 ~ 127需要校准数据集计算缩放因子scale和零点zero_point。量化感知训练QAT在训练过程中模拟量化误差让模型适应低精度效果优于训练后量化PTQ。5.2 ONNX 与 TensorRT“ONNX 和 TensorRT 分别解决了什么问题”ONNX模型交换格式让模型可以在不同框架PyTorch、TensorFlow之间迁移。TensorRTNVIDIA 的推理优化引擎对模型进行图优化、层融合、精度校准、内存复用等大幅提升 GPU 推理速度。典型流程PyTorch 模型 → ONNX 导出 → TensorRT 优化 → 部署6. 总结AI 面试的底层原理本质上是在考察你对“模型为什么 work”的理解深度。从注意力机制到反向传播从优化器到量化部署每一个环节都值得你花时间去推导、去实践。记住面试官不是要你背答案而是想看到你真正理解了这些原理。当你能够用自己的话把“为什么除以 sqrt(d_k)”讲清楚把“AdamW 比 Adam 好在哪里”说明白你就已经赢了。希望这篇文章能帮你理清思路在面试中游刃有余。