DeepSeek与北大合作发表论文提出Engram条件记忆模块作为Transformer架构的补充通过可扩展查找实现大模型稀疏化。该模块有效区分组合推理与知识检索任务优化计算资源分配显著提升模型在知识密集型及推理任务上的表现尤其在长上下文处理中展现结构性优势。该技术被认为是下一代稀疏大模型的核心建模原语或为DeepSeek V4的技术架构基础。继去年底发布一篇新论文后1月12日晚DeepSeek又上新了一篇论文这次聚焦的是大模型的条件记忆模块在结论中DeepSeek 认为这将成为下一代稀疏大模型中不可或缺的核心建模原语。此前有爆料称DeepSeek下一代大模型V4将在春节前后发布结合这几次研究业内猜测这或许就是DeepSeek V4的研究路线图。此次发布的论文是DeepSeek与北京大学合作完成的名称为**《Conditional Memory via Scalable Lookup:A New Axis of Sparsity for Large Language Models》《通过可扩展查找实现条件记忆大语言模型稀疏化的新维度》作者一列同样有DeepSeek创始人梁文锋**的署名。这篇论文的核心观察是大模型包含两种性质完全不同的任务一种是需要深度动态计算的组合推理另一种则是检索静态知识。而现有的Transformer架构缺乏原生的知识查找机制只能通过计算低效地模拟检索过程。例如模型查找不变的知识时得浪费算力重新推导一遍既费时间又占资源。为解决这一问题DeepSeek团队引入了条件记忆作为补充的稀疏性维度并通过Engram这一条件记忆模块实现Engram模块将海量静态知识存储于一个可直接、快速访问的“记忆库”中实现了近乎即时的知识调用。优化神经计算MoE与静态记忆Engram之间的权衡关系。**PART.**1为什么大语言模型需要 Engram稀疏性sparsity一直是智能系统的核心设计原则无论是生物大脑的神经回路还是现代大语言模型都在用它来“省资源”。在 AI 里这个思想最常见的体现就是混合专家模型MoE——也就是通过“条件计算”让模型只激活部分参数从而在不增加太多计算量的情况下把模型容量放大好几倍。MoE 是目前推进参数规模和能力扩展的关键技术之一DeepSeek 自家系列模型如 DeepSeek V2、DeepSeek V3 等也采用了先进的 MoE 方法进行扩展训练。但 MoE 也有其局限性。语言本身非常复杂至少包含两类截然不同的任务1.组合式推理需要深层、动态的神经计算比如理解复杂句子结构或推理问题2.知识检索大量文本都是高度固定、重复的内容比如命名实体、固定表达、程式化模式。论文中提出经典的-gram 模型已经证明处理这种局部、重复的语言规律用“查表”效率最高几乎不需要动深层神经网络。然而现在的 Transformer 并没有这种原生“查表能力”所以模型每次要识别一个常见的多 token 实体都要消耗好几层注意力和前馈网络这就像在运行时重复重建一个静态字典既浪费计算又占用模型的“序列深度”原本可以用来做更高级的推理。**PART.**2Engram的精密设计Engram一词源自神经科学中的“记忆痕迹”其核心创新在于将自然语言处理中经典的N-gram模型思想以一种现代化、可微分的方式深度集成到Transformer的层间。该模块的工作流程是一个确定性与自适应性完美结合的两阶段过程。第一阶段是确定性的高速检索。系统会对当前token及其前文构成的N-gram进行即时哈希运算将其映射到一个规模极其庞大的静态嵌入表中直接取出对应的向量。为了应对哈希冲突并提升语义密度研究团队采用了词表规范化与多头哈希技术成功将原始词表的有效规模压缩了近四分之一显著提高了存储和查找效率。然而简单的键值检索会面临歧义问题。例如“苹果”一词在不同上下文中可能指向公司或水果。因此第二阶段的上下文感知门控融合至关重要。Engram引入了一个轻量化的门控机制它以Transformer主干网络当前层的隐藏状态作为动态查询对检索到的静态记忆向量进行评估。该机制会生成一个介于0到1之间的门控值如同一个智能开关精确地控制着外部记忆向当前语境注入的信息量。可视化分析证实这个开关能在历史日期、专业术语等固定模式处敏锐地开启而在需要自由生成或深度推理的段落处则保持静默确保了记忆的调用永远服务于上下文的真实需求。Engram最引人瞩目的系统级优势源于其检索路径的完全确定性——它仅取决于输入文本本身而非模型内部的复杂中间状态。这一特性彻底改变了超大参数模型的部署范式。与MoE的动态路由必须将全部专家参数常驻于昂贵的GPU显存不同Engram庞大的记忆表可以安全地卸载至主机CPU内存甚至NVMe固态硬盘中。通过巧妙的预取和计算-通信重叠技术从外部存储读取记忆的延迟可以被完美地隐藏在前序层的计算时间之下。论文中给出的实验数据令人振奋即使为模型附加了高达千亿参数的Engram记忆库其推理吞吐量的损失也被严格控制在3%以内。这为实现**“参数规模近乎无限扩展而推理成本基本不变”**的终极目标开辟了一条切实可行的工程路径。**PART.**3U型定律与性能飞跃如果说Engram模块本身是一项精巧的发明那么研究团队在此基础上发现的U型扩展定律则是一项具有普遍指导意义的关键发现。这一定律清晰揭示了在总参数和计算预算固定的约束下应在“条件计算”与“条件记忆”之间如何分配资源才能达到全局最优。研究团队设计了一组严谨的实验系统性地调整分配给MoE专家和Engram记忆的“稀疏参数预算”比例。结果绘制出了一条稳健的U型性能曲线。曲线的两端揭示了单一维度的局限当所有资源都倾向于MoE时模型因缺乏专用记忆而不得不低效地重建静态模式当资源过度向Engram倾斜时模型又因计算能力不足而损害了动态推理能力。曲线的最低点即最佳平衡点出现在将大约20%至25%的稀疏预算分配给Engram时。这一“黄金分割”比例在不同规模的模型中都保持稳定强有力地证明了条件记忆与条件计算是互补且必须共同存在的两个核心维度任何一方的缺失都会导致整体效率的损失。遵循这一定律的指导团队训练了Engram-27B模型并与总参数和计算开销完全相同的纯MoE-27B基线进行了全面对比。结果超出了单纯的“知识提升”预期展现出全能力的显著增强。在MMLU、CMMLU等知识密集型基准上提升稳定在3至4个百分点而在更需要逻辑思维的BBH、ARC-Challenge等推理任务上提升幅度更为突出达到了5个百分点左右甚至在代表代码与数学能力的HumanEval和MATH基准上也取得了约3个百分点的进步。这表明专用记忆模块带来的好处是系统性的它通过解放计算资源间接强化了模型所有的核心能力。这种效应在模型的内部表征中得到了直观印证。通过中心核对齐分析发现配备了Engram的模型其较浅网络层所学习到的表征其复杂度与深度相当于纯MoE模型中深得多的层级。换言之Engram的介入使得Transformer主干网络“变相地”加深了浅层得以快速处理模式匹配从而让深层能够更加专注于高级抽象和复杂推理。这种架构红利在长上下文场景下被进一步放大。当局部依赖的解析被卸载给Engram后注意力机制可以更纯粹地服务于全局关联的建立。在著名的RULER长文本基准测试中Engram模型在“多查询大海捞针”任务上的准确率实现了从84.2%到97.0%的惊人飞跃充分证明了其在处理超长文档方面的结构性优势。DeepSeek在论文最后表明条件记忆将成为下一代稀疏模型不可或缺的建模原语。有行业人士猜测此次提出的条件记忆或许就是下一代大模型DeepSeek V4的技术架构。此前有报道称DeepSeek将于2月发布新一代旗舰模型DeepSeek V4且内部初步测试表明V4在编程能力上超过了市场上的其他顶级模型。目前DeepSeek并未对此进行任何回应。报道也提及发布计划可能会根据实际情况进行调整。自2024年底发布V3模型后DeepSeek的下一代旗舰模型一直未出去年底DeepSeek发布了小更新V3.2版本并提及该版本在多个基准测试中超过了OpenAI的GPT-5和Google的Gemini 3.0 Pro。行业一直在观望DeepSeek的旗舰模型V4的推出或将成为业界关注的焦点。最后我在一线科技企业深耕十二载见证过太多因技术更迭而跃迁的案例。那些率先拥抱 AI 的同事早已在效率与薪资上形成代际优势我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我整理出这套 AI 大模型突围资料包✅AI大模型学习路线图✅Agent行业报告✅100集大模型视频教程✅大模型书籍PDF✅DeepSeek教程✅AI产品经理入门资料完整的大模型学习和面试资料已经上传带到CSDN的官方了有需要的朋友可以扫描下方二维码免费领取【保证100%免费】为什么说现在普通人就业/升职加薪的首选是AI大模型人工智能技术的爆发式增长正以不可逆转之势重塑就业市场版图。从DeepSeek等国产大模型引发的科技圈热议到全国两会关于AI产业发展的政策聚焦再到招聘会上排起的长队AI的热度已从技术领域渗透到就业市场的每一个角落。智联招聘的最新数据给出了最直观的印证2025年2月AI领域求职人数同比增幅突破200%远超其他行业平均水平整个人工智能行业的求职增速达到33.4%位居各行业榜首其中人工智能工程师岗位的求职热度更是飙升69.6%。AI产业的快速扩张也让人才供需矛盾愈发突出。麦肯锡报告明确预测到2030年中国AI专业人才需求将达600万人人才缺口可能高达400万人这一缺口不仅存在于核心技术领域更蔓延至产业应用的各个环节。资料包有什么①从入门到精通的全套视频教程⑤⑥包含提示词工程、RAG、Agent等技术点② AI大模型学习路线图还有视频解说全过程AI大模型学习路线③学习电子书籍和技术文档市面上的大模型书籍确实太多了这些是我精选出来的④各大厂大模型面试题目详解⑤ 这些资料真的有用吗?这份资料由我和鲁为民博士共同整理鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。所有的视频教程由智泊AI老师录制且资料与智泊AI共享相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念通过动态追踪大模型开发、数据标注伦理等前沿技术趋势构建起前沿课程智能实训精准就业的高效培养体系。课堂上不光教理论还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作把课本知识变成真本事如果说你是以下人群中的其中一类都可以来智泊AI学习人工智能找到高薪工作一次小小的“投资”换来的是终身受益应届毕业生无工作经验但想要系统学习AI大模型技术期待通过实战项目掌握核心技术。零基础转型非技术背景但关注AI应用场景计划通过低代码工具实现“AI行业”跨界。业务赋能 突破瓶颈传统开发者Java/前端等学习Transformer架构与LangChain框架向AI全栈工程师转型。获取方式有需要的小伙伴可以保存图片到wx扫描二v码免费领取【保证100%免费】**