本文汇总了从事大语言模型、知识库、搜索增强生成RAG研发、产品和测试的同学在面试中遇到的问题涵盖大模型训练过程、Transformer模型机制、注意力机制、模型架构、微调技术、量化方法、推理优化等核心知识点。同时也探讨了RAG系统的工作原理、检索与生成阶段优化、知识库更新策略等实用内容为AI技术爱好者提供了一份全面的大模型学习资源。以下主要来自于各位从事大模型研发、产品和测试的伙伴、朋友在面试互联网大厂、AI科技公司的相关AI岗位遇到的面试问题汇总。大语言模型面试1、大语言模型的训练过程是什么一般分为哪几个阶段2、详细解释Transformer模型中的自注意力机制是如何工作的其中的Q、K、V分别代表什么3、详细介绍大语言模型中的旋转位置编码RoPE对比绝对位置和相对位置编码技术它的优、劣势分别是什么4、简述以下几种Attention机制的核心原理和区别。主要是MHAMulti-Head Attention、MQAMulti-Query Attention、 GQAGrouped-Query Attention、MLAMulti-head Latent Attention。5、大语言模型上下文长度的扩展方法都有哪些可以从位置编码优化、模型架构改进、训练策略优化以及推理/系统级方案进行分析6、在大模型领域稠密模型和混合专家模型之间都有哪些区别分别在什么应用场景下适用7、在大语言模型中都有哪些常用的高效微调技术Parameter-Efficient Fine-Tuning, PEFT什么情况下需要进行微调8、Lora微调的技术原理是什么在实际微调中数据集是如何构建的数据配比是什么训练的参数是什么微调后效果是如何进行验证的9、是否熟悉Megatron/DeepSpeed/LLaMA-Factory/ms-swift 等训练微调框架讲一讲它们之间的区别10、从技术原理、训练难度、训练稳定性、训练成本、适用场景等多个方面来对比PPO、DPO、GRPO、DAPO、GSPO等强化学习算法11、比较Encoder-Only, Decoder-Only和Encoder-Decoder这几种模型架构并说明它们各自最擅长的任务类型可以用Bert、GPT和T5模型来举例说明。12、大语言模型的采样策略都有哪些你对大模型的采样参数是如何理解的针对不同的使用场景如何设置详细的数值13、解释MoE架构的基本原理。在工程实现中MoE 面临的主要挑战是什么如负载均衡、通信开销如何解决14、在全量微调和参数高效微调 (PEFT, 如 LoRA) 之间你会如何根据业务场景做选择LoRA的秩 (Rank) 和 缩放系数 (Alpha) 对效果有何影响15、假设我们需要部署一个内部知识库问答系统要求 QPS 50首字延迟 (TTFT) 500ms且显存资源有限仅 4 张 A100。请结合你熟悉的量化AWQ/GPTQ、推理框架vLLM和模型选型MoE/Dense给出一个具体的部署方案并说明你在精度、速度和成本之间做的权衡。16、在 PTQ训练后量化中GPTQ 和 AWQ 的核心区别是什么AWQ 是如何保护“激活异常值”的如果在量化后发现模型在特定任务如逻辑推理上性能下降明显你会采取哪些补救措施如 QAT 或 混合精度17、详细解释 Transformer 架构中的位置编码。为什么Qwen、DeepSeek、GLM等现代模型倾向于使用 RoPE而不是绝对位置编码RoPE 在外推方面有什么优势18、在大模型预训练中数据质量对模型性能至关重要。请描述一套完整的高质量预训练数据清洗 pipeline 应该包含哪些关键步骤如何检测并去除重复数据19、解释 FlashAttention 的核心原理。它是如何通过IO感知来加速 Attention 计算的在显存受限的情况下它对训练和推理有什么具体影响20、在大语言模型推理阶段KV Cache 的作用是什么随着序列长度增加KV Cache 会带来什么挑战请介绍一种显存管理优化技术如 PagedAttention 或 Prefix Caching。21、为了降低推理延迟和成本模型量化是常用手段。解释 PTQ训练后量化和 QAT量化感知训练的区别。在 LLM 中为什么激活值的量化比权重量化更难22、假设你在进行千卡集群的大模型预训练时训练 Loss 突然出现剧烈震荡Loss Spike甚至变成 NaN描述你的排查思路和解决步骤。23、原始Transformer 使用 Post-Norm而现代大语言模型普遍采用 Pre-Norm 和 RMSNorm。请解释 Pre-Norm 为什么更利于深层网络训练RMSNorm 相比 LayerNorm 去掉了什么操作带来了什么收益24、新一代的 SOTA模型普遍采用了 激活函数SwiGLU写出 SwiGLU 的公式并分析它为什么能提升模型性能在参数量计算上为了保持总参数量不变SwiGLU 结构的中间层维度应该如何调整25、训练千亿参数模型需要多机多卡。请简述数据并行DP、张量并行TP和流水线并行PP的区别。在 Transformer 层内部TP 通常是如何切分 Attention 和 FFN 矩阵的26、标准的Scaled Dot-Product Attention的空间和时间复杂度均为On2。在处理100万token的上下文时这会直接导致OOM。列举并对比至少三种常见的稀疏注意力或高效注意力变体的核心思想并说明它们如何突破这一瓶颈。27、你是否关注了2025年deepseek模型的一些新进展比如稀疏注意力机制DSA、参数精度UE8M0 FP8 Scale、流形约束超连接MHC、“条件记忆”机制方面的论文28、在LLM的推理阶段Transformer模型通常使用KV Cache来加速。结合公式推导说明KV Cache具体缓存了哪些张量为什么只缓存K和V而不缓存Q如果使用MQAMulti-Query Attention或GQAGrouped-Query AttentionKV Cache的存储结构会发生怎样的变化29、解释大语言模型中的Pre-NormPre-LayerNormalization和Post-Norm的结构差异。为什么现在的百亿、千亿大模型训练普遍采用Pre-Norm30、FlashAttention V1和V2是如何通过算子融合和Tiling来加速Attention计算的它解决的核心问题主要是IO瓶颈是什么31、大语言模型推理过程中的 Prefill 和 Decode 阶段分别做了什么请详细解释 KV Cache 在这两个阶段中是如何生成和使用的以及为什么这两个阶段无法高效地混合在同一批次的计算中32、前馈神经网络FFN在Transformer中扮演什么角色通常包含哪些层为什么FFN的维度一般比注意力维度大33、残差连接在Transformer中的作用是什么如果不使用残差连接会怎样34、解释自回归Autoregressive语言模型与自编码Autoencoding语言模型的区别并举例说明。35、请说明KV缓存KV Cache在Transformer解码推理中的作用它是如何加速生成的36、请解释“稀疏注意力”的基本思想列举几种常见的稀疏注意力模式。37、什么是“因果掩码”在训练和推理阶段分别如何使用38、大语言模型预训练通常采用什么目标函数解释最大似然估计在语言建模中的应用。39、解释“困惑度”PerplexityPPL作为语言模型评估指标的优缺点。40、什么是“词表”和“分词”BPEByte Pair Encoding分词算法是如何工作的41、混合精度训练的原理是什么它如何节省显存并加速训练42、解释“灾难性遗忘”现象在微调中如何缓解43、比较LoRA、Adapter、Prefix Tuning、P-Tuning等参数高效微调方法的异同。44、解释“思维链”Chain-of-Thought提示的原理它如何提升复杂推理能力45、解释大语言模型“贪婪解码”、“束搜索”和“采样”的异同。46、模型量化Quantization的基本原理是什么常用的量化方法如GPTQ、AWQ有哪些47、Multi-Head Attention 相比 Single-Head Attention 的优势是什么Head 数设置对模型有什么影响48、Decoder-only 架构与 Encoder-Decoder 架构在 LLM 中的应用场景有何不同为什么目前主流 LLM 多采用 Decoder-only49、Transformer 中的残差连接主要解决了什么问题在深层网络中是否会出现梯度消失50、请介绍几种常见的 Tokenization 算法如BPE, WordPiece, Unigram它们各有什么优缺点51、词表大小对模型性能和推理速度有什么影响如何确定合适的词表大小52、LLM的预训练过程中的 Loss 曲线突然震荡或上升可能的原因有哪些如何排查53、混合精度训练的原理是什么FP16 和 BF16 有什么区别54、如何处理预训练数据中的多语言混合问题是否需要平衡各语言的比例55、在预训练阶段如何防止模型记忆训练数据中的隐私信息56、请详细解释 LoRA (Low-Rank Adaptation) 的原理为什么它能在减少参数量下保持效果57、什么是 Prompt Tuning 和 P-Tuning它们与 LoRA 相比有什么优缺点58、在 SFT监督微调阶段如何构造高质量的指令数据集59、多任务学习在 LLM 微调中如何实现如何平衡不同任务的 Loss60、解释一下 QLoRA它如何实现显存的高效利用61、如果微调后模型出现“复读机”现象重复生成可能的原因是什么如何解决62、请解释 KV Cache 机制它是如何加速自回归生成的63、INT8 量化和 FP4 量化对模型精度的影响通常有多大如何校准64、在推理服务中Continuous Batching相比传统 Batching 有什么优势65、如何估算一个72B 模型在 FP16 精度下的显存占用推理时需要考虑哪些额外开销66、请解释数据并行DP、张量并行TP和流水线并行PP的区别及通信开销。67、ZeRO优化技术分为哪几个阶段ZeRO-1/2/3各阶段优化了什么68、在千卡集群训练中如何处理节点故障断点续训策略如何设计69、3D 并行具体是指哪三种并行的组合70、什么是大模型幻觉有哪些技术手段可以检测或减少幻觉检索增强生成RAG1、请简述 RAG 的基本工作原理并解释它如何解决大模型的“幻觉”问题2、在什么场景下你会选择 RAG 而不是对基座模型进行 Fine-tuning两者的边界在哪里3、RAG 系统中的“检索”和“生成”两个阶段哪个对最终效果的影响更大为什么4、解释一下 Naive RAG 的主要局限性有哪些Advanced RAG 是如何改进的5、当知识库更新时RAG 系统相比 Fine-tuning 模型有什么优势如何实现知识的实时性6、如何理解 RAG 中的“上下文窗口限制”当检索内容超过窗口限制时有哪些处理策略7、RAG 是否适用于所有类型的问答任务请举例说明不适合使用 RAG 的场景。8、在 RAG 架构中如何平衡检索的延迟与生成的准确性9、什么是 Modular RAG它相比传统端到端 RAG 有什么架构上的优势10、常见的文本分块策略有哪些固定大小分块有什么缺点11、如何确定最优的 Chunk Size它与 Embedding 模型和检索效果有什么关系12、解释一下“滑动窗口”分块法重叠部分的作用是什么13、针对包含表格、图片的 PDF 文档RAG 系统应该如何进行解析和分块14、什么是语义分块它相比固定字符分块计算成本更高值得吗15、在 RAG 中Metadata元数据的作用是什么如何利用元数据优化检索16、什么是“父文档 - 子块”索引策略它解决了什么问题17、数据清洗在 RAG pipeline 中至关重要你会去除哪些类型的噪声18、如何处理知识库中的重复内容重复数据对向量检索有什么负面影响19、当知识库需要增量更新时如何高效地更新向量索引而不重建整个库20、如何选择适合特定垂直领域的 Embedding 模型通用模型有什么不足21、Embedding 向量的维度对检索性能和存储成本有什么影响22、如何处理多语言场景下的 RAG是使用多语言 Embedding 还是翻译查询23、解释一下对比学习在训练 Embedding 模型中的作用。24、什么是“查询 - 文档不匹配”问题如何缓解25、请简述 ColBERT 模型的 Late Interaction 机制及其在 RAG 中的优势。26、向量量化技术如 PQ, SQ在向量数据库中的应用及精度损失如何评估27、如果 Embedding 模型发生了版本迭代历史向量数据该如何处理28、是否需要对 Embedding 向量进行归一化处理为什么29、如何检测 Embedding 空间中的“分布漂移”30、dense retrieval稠密检索和 sparse retrieval如 BM25各有什么优缺点31、什么是混合检索如何确定 Dense 和 Sparse 分数的融合权重32、请解释 HNSW 算法的原理以及它如何平衡检索速度与召回率33、在向量数据库中IVF倒排文件索引和 HNSW 适用场景有何不同34、什么是查询扩展请举例说明一种扩展方法。35、解释 HyDE的原理及其适用场景。36、什么是 Step-back Prompting它在复杂推理检索中如何起作用37、针对多跳推理问题RAG 系统应该如何设计检索流程38、如何实现基于路由的检索即如何判断查询该走哪个知识库39、当检索结果为空时系统应该如何降级处理40、为什么在检索后通常需要一个 Re-ranker重排序模型41、Cross-Encoder 和 Bi-Encoder 在重排序任务中有什么区别42、重排序模型会显著增加延迟有哪些工程手段可以优化43、什么是 MMR它在 RAG 中用于解决什么问题44、如何评估重排序模型带来的实际收益RecallK vs NDCG45、在 Top-K 选择中K 值的大小对生成效果有什么影响如何动态确定 K46、什么是上下文压缩有哪些具体的压缩算法47、如何利用 LLM 本身进行重排序成本是否可控48、检索到的文档中如果包含相互矛盾的信息生成阶段该如何处理49、是否需要对检索到的片段进行去重基于语义去重还是基于哈希去重50、设计一个 RAG 的系统 Prompt需要包含哪些关键要素如角色、约束、引用要求51、如何强制模型在生成答案时标注引用来源52、当检索内容不足以回答问题时如何 Prompt 模型使其回答“我不知道”而不是编造53、在 RAG 中Temperature 参数通常设置为多少为什么54、如何处理多轮对话中的 RAG历史对话信息如何融入检索查询55、什么是“提示注入”在 RAG 检索内容中如何防御56、针对长文档摘要任务RAG 的生成策略与问答任务有何不同57、如何解析 LLM 生成的结构化输出如 JSON以便后续处理58、如果生成模型出现截断有哪些补救措施59、解释 Agentic RAG 的概念Agent 在 RAG 中扮演什么角色60、什么是 Graph RAG它相比基于向量的 RAG 在解决全局理解问题上有何优势61、简述 Self-RAG 的工作原理它是如何实现自我反思的62、什么是 CRAGCorrective RAG它如何评估检索质量并进行修正63、解释 FLAREForward-Looking Active REtrieval的主动检索机制。64、什么是 RAPTOR 架构它如何通过树状结构处理长文档65、如何将知识图谱与向量检索结合66、什么是递归检索适用于什么数据结构67、在 Auto-merging Retrieval 中如何决定哪些块应该被合并68、请列举 RAG 系统评估的核心指标如 RAGAS 框架中的指标。69、在 Milvus、Elasticsearch 和 PGVector 中如何为 RAG 系统选型70、面对高并发 QPSRAG 检索服务如何进行水平扩展71、你做过多模态RAG没有具体是如何实现的72、向量数据库的备份与恢复策略应该如何设计73、如何设计一个支持多租户数据隔离的 RAG 架构74、什么是向量数据库请比较 FAISS、Milvus、Chroma 和 Elasticsearch (KNN) 的特点。75、在部署 Embedding 模型和 Rerank 模型时如何选择 GPU 资源最后对于正在迷茫择业、想转行提升或是刚入门的程序员、编程小白来说有一个问题几乎人人都在问未来10年什么领域的职业发展潜力最大答案只有一个人工智能尤其是大模型方向当下人工智能行业正处于爆发式增长期其中大模型相关岗位更是供不应求薪资待遇直接拉满——字节跳动作为AI领域的头部玩家给硕士毕业的优质AI人才含大模型相关方向开出的月基础工资高达5万—6万元即便是非“人才计划”的普通应聘者月基础工资也能稳定在4万元左右。再看阿里、腾讯两大互联网大厂非“人才计划”的AI相关岗位应聘者月基础工资也约有3万元远超其他行业同资历岗位的薪资水平对于程序员、小白来说无疑是绝佳的转型和提升赛道。对于想入局大模型、抢占未来10年行业红利的程序员和小白来说现在正是最好的学习时机行业缺口大、大厂需求旺、薪资天花板高只要找准学习方向稳步提升技能就能轻松摆脱“低薪困境”抓住AI时代的职业机遇。如果你还不知道从何开始我自己整理一套全网最全最细的大模型零基础教程我也是一路自学走过来的很清楚小白前期学习的痛楚你要是没有方向还没有好的资源根本学不到东西下面是我整理的大模型学习资源希望能帮到你。扫码免费领取全部内容最后1、大模型学习路线2、从0到进阶大模型学习视频教程从入门到进阶这里都有跟着老师学习事半功倍。3、 入门必看大模型学习书籍文档.pdf书面上的技术书籍确实太多了这些是我精选出来的还有很多不在图里4、AI大模型最新行业报告2026最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。5、面试试题/经验【大厂 AI 岗位面经分享107 道】【AI 大模型面试真题102 道】【LLMs 面试真题97 道】6、大模型项目实战配套源码适用人群四阶段学习规划共90天可落地执行第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…扫码免费领取全部内容3、这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】