2026年关于AI技术我将持续关注的大概有下面这些更智能、更高效、更经济的大模型类Transformer架构优化、MoE类大模型、超稀疏类大模型、注意力优化等、大模型的预训练、后训练和微调、推理大模型、原生多/全模态理解大模型、图像生成大模型、视频生成大模型、世界模型、代码大模型、AI Agent智能体系统、上下文工程、推理引擎、理解和生成大一统的模型、强化学习、在线学习和持续学习大模型训练和学习新范式。我最关注的大模型有这些家的OpenAI的GPT系列、Anthropic的Claude、谷歌的Gemini、xAI的Grok、阿里Qwen、DeepSeek、字节豆包系列、智谱GLM、月之暗面Kimi、MiniMax、百度文心、蚂蚁百灵、讯飞星火、美团龙猫、腾讯混元以及商汤、阶跃星辰、面壁智能等。关于AI产品、AI工具和AI应用我会持续关注的大概有这些字节豆包/阿里千问/文心一言等C端综合类AI助手、办公智能体扣子、Kimi、天工、Minimax Agent、WPS AI等、知识库工具如ima、图像视频创作工具Nano Banana、Lovart、字节seed图像和视频生成模型、通义万相等、AI coding类应用AI IDE如Google Antigravity 、Qoder、Trae、CodeBuddyCli端的Claude Code、Open Code类、Codex、智能搜索类AI工具秘塔AI搜索、夸克等、深度研究类工具Kimi深度研究、千问深度研究、垂直领域的AI产品如蚂蚁阿福这类健康助手视频创作助手剪映等AI coding模型如Claude Opus个人智能体助手如OpenClaw等。本文以阿里云大模型高级工程师ACP考试认证学习资料为主要参考汇总并总结了大模型领域的基础必备知识、大模型应用开发核心知识等。无论你未来是想从事大模型领域的应用研发还是从事AI大模型产品经理、大模型测评还是大模型技术讲师都可以作为参考资料来学习。大模型LLM基础知识科普智能问答作为大模型最经典且广泛的应用之一是探索大语言模型LLM工作机制的最佳范例。以一个简单的输入ACP is a very为例来具体看看大模型是如何一步步处理这个输入并最终生成完整句子的。大模型的文本生成流程可以分为文本分词、Token 向量化、大模型推理、解码与自回归、输出文本五个阶段第一阶段文本分词计算机无法直接理解人类的文字。因此第一步需要将我们输入的文本“ACP is a very”转换成计算机能够处理的数字格式。Token 是分词器Tokenizer把文本编码后得到的基本单元每个 token 对应词表中的一个整数 ID。token 通常是子词片段或字符片段不一定等于一个完整的词也不一定具有独立语义。比如英文单词可能被拆成词根和后缀中文可能按字或常见词组切分空格和标点也可能被编码进 token。以ACP is a very为例Tokenizer 会将其编码成若干 token并为每个 token 分配一个 ID。第二阶段Token 向量化虽然得到了数字 ID 序列但这些 ID 本身的数值大小并没有实际意义比如ID 500 并不意味着它在语义上就比 ID 50 更“重要”或“相关”。为了让模型理解 token 的真实含义我们需要将这些离散的 ID 转换成包含丰富语义信息的数学表示——向量 (Vector)。这个转换通过一个被称为Embedding 矩阵的巨大表格完成。简单来说就是用 token ID 在这个大表格里“查表”取出对应的那一整行向量。每个 token 的向量都包含了其在多维度语义空间中的坐标。此外语言的顺序至关重要“我帮你”和“你帮我”截然不同。但基础的 Transformer 模型本身并不直接处理时序信息。因此还需要额外给每个 token 向量添加位置信息让模型能够区分出 “我” 是第一个词“你” 是第三个词以此类推。第三阶段大模型推理现在携带了语义和位置信息的向量序列被送入Transformer模型的解码器层进行计算这个过程被称为前向计算。向量序列会逐层穿过数十个甚至上百个结构相似的解码器层在因果自注意力机制和前馈神经网络 的作用下文本向量中的信息被一次一次压缩和提取。最终会得到最后一个 token也就是 “very”所对应的隐藏状态向量。这个向量可以被认为是模型在阅读了 “ACP is a very” 之后对接下来可能出现的内容的一个高度浓缩的“思考总结”。最后这个“思考总结”向量会通过一个线性投影层映射到整个词汇表的维度得到一个庞大的分数向量。第四阶段解码与自回归在得到 logits 之后大模型还需要经过 softmax 函数计算将这些 logits 重新映射为一种概率分布P表示每个 token 被选中的概率。最后大模型会根据一个解码策略来决定最终输出哪个 token。解码策略主要分为两类近似确定性解码如贪心解码每次选概率最高的 token或 Beam Search 保留多个候选路径。随机采样解码如Top-p、Top-k Sampling从高概率的候选集合中随机抽取。很多在线服务默认使用随机采样解码因此即使输入完全相同也可能出现回答略有不同的现象。通过调整temperature你可以改变 softmax 输出概率分布的尖锐程度。temperature越低token 之间的概率差异越大概率分布越集中于少数的高概率 token模型输出越确定。temperature 越高输出概率分布越平坦模型的输出多样性越高。配合top_p控制参与采样的候选集合范围等参数可以在模型输出的多样性与稳定性之间做权衡。例如下图展示了模型预测出的部分候选 token 及其概率实际词汇表远比这大得多一旦选定了下一个 token比如模型选择了 “informative”这个新生成的 token 就会被追加到原始输入序列的末尾形成新的输入 “ACP is a very informative”。然后模型会基于这个新序列重复第三和第四阶段继续预测下一个 token。这个文字接龙的过程称为自回归生成。模型的自回归循环会持续进行直到满足某个停止条件生成了特殊的终止符 (End-of-Sequence, EOS token)。达到了预设的最大生成长度限制。生成了用户指定的停用词序列。第五阶段输出文本最后系统会将整个生成过程中的 token ID 序列转换回人类可读的字符串并呈现给我们。我们经常看到的流式输出效果其实是服务端每生成一个或几个 token就立刻将其解码并增量地发送到你的界面上。由于 token 可能是子词片段所以在流式显示时有时会看到一个词被分成几部分输出或者空格的出现时机看起来有些奇怪这都是正常现象。影响大模型内容生成的随机性参数假设在一个对话问答场景中用户提问为“在大模型ACP课程中你可以学习什么”。为了模拟大模型生成内容的过程我们预设了一个候选Token集合这些Token分别为“RAG”、“提示词”、“模型”、“写作”、“画画”。大模型会从这5个候选Token中选择一个作为结果输出如下所示。用户提问在大模型ACP课程中你可以学习什么大模型回答RAG在这个过程中有两个重要参数会影响大模型的输出temperature 和 top_p它们用来控制大模型生成内容的随机性和多样性。temperature调整候选Token集合的概率分布在大模型生成下一个词之前它会先为候选Token计算一个初始概率分布。这个分布表示每个候选Token作为next-token的概率。temperature是一个调节器它通过改变候选Token的概率分布影响大模型的内容生成。通过调节这个参数可以灵活地控制生成文本的多样性和创造性。为了更直观地理解下图展示了不同temperature值对候选Token概率分布的影响。图中的低、中、高温度基于Qwen-Max模型的范围[0, 2)划分。由上图可知温度从低到高0.1 - 0.7 - 1.2概率分布从陡峭趋于平滑候选Token“RAG”从出现的概率从0.8 - 0.6 - 0.3虽然依然是出现概率最高的但是已经和其它的候选Token概率接近了最终输出也会从相对固定到逐渐多样化。针对不同使用场景可参考以下建议设置 temperature 参数明确答案如生成代码调低温度。创意多样如广告文案调高温度。无特殊需求使用默认温度通常为中温度范围。需要注意的是当 temperature0 时虽然会最大限度降低随机性但无法保证每次输出完全一致。如果想深入了解可查阅 temperature的底层算法实现。top_p控制候选Token集合的采样范围top_p 是一种筛选机制用于从候选 Token 集合中选出符合特定条件的“小集合”。具体方法是按概率从高到低排序选取累计概率达到设定阈值的Token 组成新的候选集合从而缩小选择范围。下图展示了不同top_p值对候选Token集合的采样效果。图示中蓝色部分表示累计概率达到top_p阈值如0.5或0.8的Token它们组成新的候选集合灰色部分则是未被选中的Token。当top_p0.5时模型优先选择最高概率的Token即“RAG”而当top_p0.8时模型会在“RAG”、“提示词”、“模型”这三个Token中随机选择一个生成输出。由此可见top_p值对大模型生成内容的影响可总结为值越大 候选范围越广内容更多样化适合创意写作、诗歌生成等场景。值越小 候选范围越窄输出更稳定适合新闻初稿、代码生成等需要明确答案的场景。极小值如 0.0001理论上模型只选择概率最高的 Token输出非常稳定。但实际上由于分布式系统、模型输出的额外调整等因素可能引入的微小随机性仍无法保证每次输出完全一致。那么是否需要同时调整temperature和top_p为了确保生成内容的可控性建议不要同时调整top_p和temperature同时调整可能导致输出结果不可预测。你可以优先调整其中一种参数观察其对结果的影响再逐步微调。知识延展top_k在千问系列模型中参数top_k也有类似top_p的能力。它是一种采样机制从概率排名前k的Token中随机选择一个进行输出。一般来说top_k越大生成内容越多样化top_k越小内容则更固定。当top_k设置为1时模型仅选择概率最高的Token输出会更加稳定但也会导致缺乏变化和创意。知识延展seed在千问系列模型中参数seed也支持控制生成内容的确定性。在每次模型调用时传入相同的seed值并保持其他参数不变模型会尽最大可能返回相同结果但无法保证每次结果完全一致。设置 temperature、top_p、seed 控制大模型输出为何仍存在随机性即使将 temperature 设置为 0、top_p 设置为极小值如 0.0001并使用相同的 seed 同一个问题的生成结果仍可能出现不一致。这是因为一些复杂因素可能引入微小的随机性例如大模型运行在分布式系统中或模型输出引入了优化。举个例子 分布式系统就像用不同的机器切面包。虽然每台机器都按照相同的设置操作但由于设备之间的细微差异切出来的面包片可能还是会略有不同。让大模型能够回答私域知识问题回到最初的挑战答疑机器人无法回答“我们公司项目管理用什么工具”这类内部问题。根本原因在于大模型的知识来源于其训练数据这些数据通常是公开的互联网信息不包含任何特定公司的内部文档、政策或流程。你可以把大模型想象成一台刚出厂的超级计算机它的 CPU推理能力极其强大硬盘模型权重里也预装了海量的通用知识。但对于你公司的“内部资料”它的硬盘里是空白的。面对这个问题最直观的解决思路就是在运行时把公司的内部知识临时告诉它。1初步方案在提示词中“喂”入知识你可以来验证这个思路将公司项目管理工具的说明文档直接添加到给模型的指令System Prompt中作为背景知识提供给它。然而当你试图将更多的公司文档例如几十页的员工手册、上百页的技术规范都用这种方式“喂”给大模型时一个新的、更严峻的挑战出现了。2核心瓶颈有限的上下文窗口大模型接收我们输入包括指令、问题和背景知识的地方被称为上下文窗口。你可以把它理解为计算机的“内存RAM”——它的容量是有限的。你无法将整个公司的知识库成百上千份文档一次性塞进这个有限的窗口里。一旦输入内容超过模型的最大限制就会导致错误。这引出了一个核心问题你需要对放入上下文窗口的内容进行筛选和管理。3解决之道上下文工程简单粗暴地将信息塞进上下文除了会超出窗口限制外还会带来一系列“隐性”问题效率低上下文越长大模型处理所需的时间就越长导致用户等待时间增加。成本高大部分模型是按输入和输出的文本量计费的冗长的上下文意味着更高的成本。信息干扰如果上下文中包含了大量与当前问题无关的信息就像在开卷考试时给了考生一本错误科目的教科书反而会干扰模型的判断导致回答质量下降。你会意识到成功的关键不在于“喂”给模型多少知识而在于“喂”得有多准。如何在正确的时间将最相关、最精准的知识动态地加载到大模型有限的上下文窗口中——这门系统性地设计、构建和优化上下文的实践就是上下文工程。从这个角度看许多大模型应用的失败并非模型本身不够智能而是“上下文”的失败。上下文工程正是释放大模型潜力的关键所在。那么上下文工程具体包含哪些技术呢你可以通过下面这张概念图来快速了解它的核心版图上下文工程的核心技术主要有它是构建可靠、高效大模型应用的一系列关键技术的总和主要包括RAG (检索增强生成)从外部知识库如公司文档中检索信息为模型提供精准的回答依据。Prompt (提示词工程)通过精心设计的指令精确地引导模型的思考方式和输出格式。Tool (工具使用)赋予模型调用外部工具如计算器、搜索引擎、API的能力以获取实时信息或执行特定任务。Memory (记忆机制)为模型建立长短期记忆使其能够在连续对话中理解历史上下文。现在聚焦于当前最紧迫的问题——如何解决私域知识问答。在这个技术版图中RAG是最直接、最有效的解决方案。技术方案RAG检索增强生成RAGRetrieval-Augmented Generation检索增强生成就是实现上下文工程的强大技术方案。它的核心思想是在用户提问时不再将全部知识库硬塞给大模型而是先自动检索出与问题最相关的私有知识片段然后将这些精准的片段与用户问题合并后一同传给大模型从而生成最终的答案。这样既避免了提示词过长的问题又能确保大模型获得相关的背景信息。构建一个 RAG 应用通常会分为两个阶段。1第一阶段建立索引建立索引是为了将私有知识文档或片段转换为可以高效检索的形式。通过将文件内容分割并转化为多维向量使用专用 Embedding 模型并结合向量存储保留文本的语义信息方便进行相似度计算。向量化使得模型能够高效检索和匹配相关内容特别是在处理大规模知识库时显著提高了查询的准确性和响应速度。这些向量经过 Embedding 模型处理后不仅很好地捕捉文本内容的语义信息而且由于语义已经向量化标准化便于之后与检索语义向量进行相关度计算。2第二阶段检索与生成检索生成是根据用户的提问从索引中检索相关的文档片段这些片段会与提问一起输入到大模型生成最终的回答。这样大模型就能够回答私有知识问题了。总的来说基于 RAG 结构的应用既避免了将整个参考文档作为背景信息输入而导致的各种问题又通过检索提取出了与问题最相关的部分从而提高了大模型输出的准确性与相关性。RAG的工作原理RAGRetrieval Augmented Generation检索增强生成是上下文工程中最重要、最有效的技术之一专门解决大模型“知识不足”的问题。RAG应用通常包含建立索引与检索生成两部分。建立索引你可能会在考试前对参考资料做标记来帮助你在考试时更容易地找到相关信息。类似的RAG应用往往也会在回答前就已经做好了标记这一过程叫做建立索引建立索引包括四个步骤文档解析就像你会将书上看到的视觉信息理解为文字信息一样RAG应用也需要首先将知识库文档进行加载并解析为大模型能够理解的文字形式。文本分段你通常不会在做某道题时把整本书都翻阅一遍而是去查找与问题最相关的几个段落因此你会先把参考资料做一个大致的分段。类似的RAG应用也会在文档解析后对文本进行分段以便于在后续能够快速找到与提问最相关的内容。文本向量化在开卷考试时你通常会先在参考资料中寻找与问题最相关的段落再去进行作答。在RAG应用中通常需要借助嵌入模型分别对段落与问题进行数字化表示在进行相似度比较后找出最相关的段落数字化表示的过程就叫做文本向量化。存储索引存储索引将向量化后的段落存储为向量数据库这样RAG应用就无需在每次进行回复时都重复以上步骤从而可以增加响应速度。在建立索引后RAG应用就可以根据用户的问题检索出相关的文本段了。检索生成检索、生成分别对应着RAG名字中的Retrieval召回与Generation生成两阶段。检索就像开卷考试时去查找资料的过程生成则是在找到资料后根据参考资料与问题进行作答的过程。检索检索阶段会召回与问题最相关的文本段。通过embedding模型对问题进行文本向量化并与向量数据库的段落进行语义相似度的比较找出最相关的段落。检索是RAG应用中最重要的环节你可以想象如果考试的时候找到了错误的资料那么回答一定是不准确的。这个步骤完美诠释了上下文工程的精髓从海量知识中“精准地选择相关信息”来填充上下文。找到最匹配的内容是保证后续生成质量的第一步。为了提高检索准确性除了使用性能强大的embedding模型也可以做重排rerank、句子窗口检索等方法。生成在检索到相关的文本段后RAG应用会将问题与文本段通过提示词模板生成最终的提示词由大模型生成回复这个阶段更多是利用大模型的总结能力而不是大模型本身具有的知识。这个提示词模板的设计是上下文工程的另一个关键环节。我们不仅要提供检索到的“资料”还要明确地“指导”模型如何使用这些资料来回答问题。一个典型的提示词模板为请根据以下信息回答用户的问题{召回文本段}。用户的问题是{question}。RAG 多轮对话在大模型中多轮对话的意义是让大模型能够参考历史对话信息理解上下文关联从而给出连贯、准确的回复。多轮对话的工作原理在 OpenAI SDK 中实现多轮对话的关键在于 messages 参数。这是一个列表包含了对话的完整历史记录。每条消息都有两个关键字段role消息的角色可以是 system系统指令、user用户输入或 assistant模型回复content消息的具体内容大模型会根据 messages 列表中的所有消息来生成回复因此你需要将之前的对话历史包括用户问题和模型回答都保存在这个列表中。对话历史会占用上下文窗口的空间。如果对话轮次过多可能需要对历史消息进行截断或摘要处理。在生产环境中通常需要将对话历史持久化存储如数据库以支持用户跨会话的连续对话体验。好了再来回想一下RAG的检索阶段系统会将用户的问题与知识库中的文本段进行语义相似度比较找出最相关的内容。但如果用户的问题依赖于对话历史中的上下文会发生什么呢举个例子第一轮用户问「张三的工位在哪里」第二轮用户接着问「他的主管是谁」如果检索系统只用第二轮的问题「他的主管是谁」去匹配文本段它根本不知道「他」指的是谁很可能召回错误的内容导致回答不准确。解决方案问题改写如果把完整的对话历史和问题一起输入检索系统由于文本过长embedding模型的效果会下降。业界通用的解决方案是问题改写利用大模型根据对话历史对当前问题进行改写将上下文信息融入问题中正常检索使用改写后的问题进行检索和生成例如上面的例子中大模型会将「他的主管是谁」改写为「张三的主管是谁」这样检索系统就能准确地找到相关信息了。普通人如何抓住AI大模型的风口领取方式在文末为什么要学习大模型目前AI大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 大模型作为其中的重要组成部分 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 为各行各业带来了革命性的改变和机遇 。目前开源人工智能大模型已应用于医疗、政务、法律、汽车、娱乐、金融、互联网、教育、制造业、企业服务等多个场景其中应用于金融、企业服务、制造业和法律领域的大模型在本次调研中占比超过30%。随着AI大模型技术的迅速发展相关岗位的需求也日益增加。大模型产业链催生了一批高薪新职业人工智能大潮已来不加入就可能被淘汰。如果你是技术人尤其是互联网从业者现在就开始学习AI大模型技术真的是给你的人生一个重要建议最后只要你真心想学习AI大模型技术这份精心整理的学习资料我愿意无偿分享给你但是想学技术去乱搞的人别来找我在当前这个人工智能高速发展的时代AI大模型正在深刻改变各行各业。我国对高水平AI人才的需求也日益增长真正懂技术、能落地的人才依旧紧缺。我也希望通过这份资料能够帮助更多有志于AI领域的朋友入门并深入学习。真诚无偿分享vx扫描下方二维码即可加上后会一个个给大家发【附赠一节免费的直播讲座技术大佬带你学习大模型的相关知识、学习思路、就业前景以及怎么结合当前的工作发展方向等欢迎大家~】大模型全套学习资料展示自我们与MoPaaS魔泊云合作以来我们不断打磨课程体系与技术内容在细节上精益求精同时在技术层面也新增了许多前沿且实用的内容力求为大家带来更系统、更实战、更落地的大模型学习体验。希望这份系统、实用的大模型学习路径能够帮助你从零入门进阶到实战真正掌握AI时代的核心技能01教学内容从零到精通完整闭环【基础理论 →RAG开发 → Agent设计 → 模型微调与私有化部署调→热门技术】5大模块内容比传统教材更贴近企业实战大量真实项目案例带你亲自上手搞数据清洗、模型调优这些硬核操作把课本知识变成真本事02适学人群应届毕业生无工作经验但想要系统学习AI大模型技术期待通过实战项目掌握核心技术。零基础转型非技术背景但关注AI应用场景计划通过低代码工具实现“AI行业”跨界。业务赋能突破瓶颈传统开发者Java/前端等学习Transformer架构与LangChain框架向AI全栈工程师转型。vx扫描下方二维码即可【附赠一节免费的直播讲座技术大佬带你学习大模型的相关知识、学习思路、就业前景以及怎么结合当前的工作发展方向等欢迎大家~】本教程比较珍贵仅限大家自行学习不要传播更严禁商用03入门到进阶学习路线图大模型学习路线图整体分为5个大的阶段04视频和书籍PDF合集从0到掌握主流大模型技术视频教程涵盖模型训练、微调、RAG、LangChain、Agent开发等实战方向新手必备的大模型学习PDF书单来了全是硬核知识帮你少走弯路不吹牛真有用05行业报告白皮书合集收集70报告与白皮书了解行业最新动态0690份面试题/经验AI大模型岗位面试经验总结谁学技术不是为了赚$呢找个好的岗位很重要07 deepseek部署包技巧大全由于篇幅有限只展示部分资料并且还在持续更新中…真诚无偿分享vx扫描下方二维码即可加上后会一个个给大家发【附赠一节免费的直播讲座技术大佬带你学习大模型的相关知识、学习思路、就业前景以及怎么结合当前的工作发展方向等欢迎大家~】