当我们说起人工智能大多数人首先想到的可能是那些能写诗、能聊天、能画画的大型语言模型。这些模型就像是非常聪明的学生似乎什么都懂一点。但是如果让它们玩一个看似简单的数学游戏——比如记住一串数字并计算它们的和——结果可能会让你大吃一惊。这项由Qualcomm AI研究院领导的突破性研究发表于2026年2月论文编号为arXiv:2602.18333v1首次系统性地揭示了现代变形金刚Transformer模型在状态追踪任务中的根本性限制。研究团队发现即使在训练和测试数据完全匹配的理想情况下这些看似强大的模型在处理需要持续记忆和状态更新的任务时表现竟然远不如传统的循环神经网络。要理解这个发现的重要性我们可以把AI模型比作不同类型的计算器。变形金刚模型就像一台超级计算器拥有巨大的屏幕可以同时显示所有之前输入的数字然后一次性计算出结果。而循环神经网络则像一台老式计算器只有一个小屏幕但它有一个特殊的记忆按钮每次输入新数字时都会自动更新内部的累计值。研究团队设计了一个看似简单却极具揭示性的实验让不同的AI模型玩数字累加游戏。规则很简单——给模型一串数字让它计算这些数字的总和然后取模就是除法的余数。比如给出数字序列2、1、0、3、4在模5的情况下答案就是(21034) mod 5 0。这个任务看起来微不足道任何一个小学生都能轻松完成但它却完美地考验了AI模型的状态追踪能力。状态追踪简单来说就是在处理信息流程中持续记住和更新重要信息的能力。就像你在购物时需要不断记住已经花了多少钱一样AI模型在处理序列数据时也需要持续追踪和更新内部状态。这种能力对于真实世界的应用至关重要——比如聊天机器人需要记住对话的上下文自动驾驶汽车需要持续追踪周围环境的变化。令研究团队惊讶的是当他们比较不同模型的表现时发现了一个颠覆常识的现象在这个简单的累加任务中传统的循环神经网络模型只需要几个训练样本就能完美掌握规律而强大的变形金刚模型却需要成千上万倍的训练数据才能达到同样的效果。更令人意外的是变形金刚模型似乎为每一种不同的序列长度都学习了完全独立的解决方案就像一个学生为了记住224、336、448竟然把每个等式都单独背下来而不是理解加法的基本规律。一、归纳偏置AI模型思维方式的隐秘差异要理解为什么会出现这种差异我们需要了解一个被称为归纳偏置的概念。归纳偏置就像是不同AI模型与生俱来的思维习惯或偏好。就像有些人天生喜欢一步一步地解决问题而有些人更喜欢把所有信息摆在桌面上然后一次性找到答案一样不同的AI架构也有着不同的信息处理偏好。研究团队将这种特殊的思维偏好称为感应偏置。这个名称来源于数学证明中的归纳法——先证明基础情况成立然后证明如果第n步成立那么第n1步也成立从而得出对所有情况都成立的结论。拥有感应偏置的AI模型就像一个善于归纳推理的学生它们倾向于学会一个基础的操作规则然后将这个规则重复应用到整个序列中。循环神经网络天生就具有这种感应偏置。当它处理数字序列2、1、0、3、4时它会这样工作首先看到数字2记住当前累计值是2然后看到1更新累计值为3接着看到0累计值保持3然后看到3累计值变为6最后看到4最终累计值为10取模5得到0。每一步都是相同操作的重复——看到新数字加到累计值上。这种处理方式使得模型能够将学到的基础操作自然地应用到任何长度的序列上。相比之下变形金刚模型的工作方式完全不同。它们更像是拥有全局视野的分析师能够同时看到整个数字序列2、1、0、3、4然后通过复杂的注意力机制来计算最终结果。虽然这种方法在很多任务上都非常强大但它缺乏自然的逐步处理偏好。因此当面对不同长度的序列时变形金刚模型往往会为每种长度开发出独特的解决策略而不是学习一个可以普遍应用的基础规则。这种差异的影响是深远的。在数学上研究团队发现拥有感应偏置的模型会学习到这样的规律在给定最新的隐藏状态的条件下下一个输出标记的概率分布会因式分解即p(x_{t1}|x_1,...,x_t,h_t) p(x_{t1}|x_t,h_t)其中h_t代表时间步t的隐藏状态它是确定x_{t1}的最小充分统计量。简单来说就是模型学会了仅凭当前状态和新输入就能准确预测下一步而不需要重新查看所有历史信息。二、三种学习方式的较量为了深入理解不同AI模型的学习特点研究团队设计了三种不同的教学方式就像是三种不同的数学课教学方法。第一种方式叫做结果监督就像老师只告诉学生题目和最终答案让学生自己摸索解题过程。在累加任务中这意味着只给模型输入序列2、1、0、3、4然后告诉它正确答案是0但不提供任何中间计算步骤的信息。这种方式最接近真实世界的学习情况因为我们通常只知道问题和期望的结果。第二种方式被称为思维链教学类似于老师在黑板上完整展示解题步骤。模型首先看到输入序列2、1、0、3、4然后需要依次输出中间计算结果2、3、3、6、0。这种方式帮助模型理解解题的逻辑流程就像学生通过观察老师的演算过程来学习解题方法。第三种方式叫做对齐思维链这是最细致的教学方法。每当输入一个新数字时模型都要立即输出到目前为止的累计结果。对于序列2、1、0、3、4模型需要在看到2时输出2看到1时输出3看到0时输出3看到3时输出6看到4时输出0。这种方式强制模型在每一步都更新其内部状态最接近人类逐步计算的思维过程。实验结果令人震惊。在结果监督方式下循环神经网络表现出色只需要很少的训练样本就能掌握规律。对于最简单的二进制累加任务相当于计算序列中1的个数是奇数还是偶数LSTM模型通常只需要十几个样本就能学会而变形金刚模型需要数百个样本差距高达几十倍。随着任务复杂度增加这种差距变得更加悬殊。在思维链教学方式下情况发生了有趣的逆转。变形金刚模型突然变得高效起来而循环神经网络的表现反而下降了。这是因为思维链方式要求模型在看完整个输入序列后再依次回忆和输出所有中间步骤。对于循环神经网络来说这变成了一个记忆力测试——它需要记住整个计算历史然后按顺序回放这反而不是它的强项。而在对齐思维链方式下循环神经网络重新占据了优势地位。这种教学方式完美契合了循环网络的逐步处理特性。令人惊讶的是在这种方式下循环网络往往只需要个位数的训练样本就能完美掌握任务即使是相对复杂的模运算任务也是如此。这些发现揭示了一个重要道理没有绝对最好的AI模型只有最适合特定任务和教学方式的模型。就像有些学生适合听讲座有些学生适合动手实践一样不同的AI架构也有各自的学习偏好和优势领域。三、数据饥饿症变形金刚的隐秘弱点研究团队的深入分析揭示了变形金刚模型的一个令人担忧的特点它们患有严重的数据饥饿症。随着任务复杂度的增加变形金刚模型对训练数据的需求呈现出令人咋舌的增长速度。这种现象可以用一个生动的比喻来理解。设想你要学习烹饪不同规模的晚餐。一个有经验的厨师类似循环神经网络学会了基本的调味原则后无论是为2个人还是20个人做饭都能根据人数比例调整食材用量。但变形金刚模型就像一个记忆型学习者它需要分别记住为2人、3人、4人、5人等每一种具体情况的完整食谱而不是掌握可以灵活应用的烹饪原则。具体数据显示了这种差距的惊人程度。在处理长度为20的序列时如果循环神经网络需要大约100个训练样本变形金刚模型可能需要10万个样本才能达到相同的效果。更糟糕的是当序列长度从20增加到30时循环网络可能只需要增加50%的训练数据而变形金刚可能需要增加500%的数据量。这种数据需求的爆炸性增长与两个关键因素密切相关状态空间的大小和序列的长度。状态空间可以理解为问题的复杂度——就像从记住2种颜色的组合到记住20种颜色的组合。而序列长度则是时间维度的复杂性——从记住3步操作到记住30步操作。对于循环神经网络来说由于其感应偏置的存在这两个维度的增长都能通过学习基础规则来应对。但对于变形金刚来说每一种新的组合都可能需要单独学习。更加令人担忧的发现是变形金刚模型在处理不同序列长度时几乎没有知识迁移能力。研究团队通过精心设计的实验发现当一个变形金刚模型学会了处理长度为10的序列后这种能力几乎无法帮助它更快地学习处理长度为15的序列。就像一个学生死记硬背了10道数学题的答案但这种记忆对解决第11道题没有任何帮助。相比之下循环神经网络展现出了令人印象深刻的知识复用能力。一旦它们学会了基础的累加规则这个规则就能自然地应用到任何长度的序列上。更有趣的是研究发现较短的序列实际上对循环网络的学习更有帮助因为它们提供了更纯净、更容易理解的基础模式。这种差异在实际应用中的含义是深刻的。在现实世界中我们经常面临需要处理不同长度输入的情况——从短文本摘要到长篇文档分析从简短对话到复杂多轮交互。变形金刚模型的这种特性意味着为了在所有可能的输入长度上都表现良好我们可能需要准备海量的训练数据覆盖每一种可能的长度组合。四、权重分享的秘密模型如何跨越长度边界为了更深入地理解这种现象研究团队设计了一个巧妙的实验来量化不同模型的知识分享能力。他们提出了一个被称为分享因子的指标用来衡量模型在处理不同序列长度时是否真正学会了可复用的机制。这个实验的设计思路很简单但很有洞察力。研究团队比较了两种训练策略的效果第一种是训练一个能够处理长度2到10的所有序列的通用模型第二种是分别为每个长度训练一个专门的模型然后将所需的训练数据相加。如果通用模型真的学会了可复用的机制那么它所需的训练数据应该远少于所有专门模型的数据总和。分享因子的计算方式是所有专门模型所需训练数据的总和除以通用模型所需的训练数据。如果这个比值大于1说明模型实现了知识分享和学习摊销如果等于1说明模型为每个长度都学习了独立的解决方案如果小于1则说明存在破坏性干扰不同长度的学习任务互相冲突。实验结果令人震惊。对于循环神经网络在它们擅长的任务设置下分享因子常常达到几十甚至上百这意味着通用模型的数据效率是专门模型的几十倍。比如如果分别训练长度2到10的专门模型需要总共10万个样本那么通用的循环模型可能只需要1千个样本就能达到相同的效果。而变形金刚模型的表现则大相径庭。在大多数情况下它们的分享因子接近或小于1。在某些情况下特别是在思维链教学方式下分享因子甚至低至0.3这意味着训练一个通用模型比训练多个专门模型需要更多的数据。这种破坏性干扰表明不同长度的学习任务在变形金刚内部实际上是相互竞争和冲突的。这种现象可以用一个生动的比喻来理解。循环神经网络就像一个优秀的工匠学会了使用锤子的基本技能后能够用同一把锤子敲打不同大小的钉子。每次使用这个技能都会强化对工具的掌握使得整体技能水平提升。而变形金刚模型更像一个收藏家为每一种特定的钉子都购买了专门的锤子虽然每把锤子都很精确但它们之间缺乏技能的相互促进。更有趣的是研究团队发现分享因子与模型的长度泛化能力之间存在强烈的相关性。那些在训练数据范围内表现出高分享因子的模型在面对超出训练长度范围的序列时也表现得更好。这一发现验证了一个重要假设真正理解任务本质的模型不仅能在已知情况下高效学习也能在未知情况下保持稳健性。这种相关性揭示了AI模型学习的一个深层规律数据效率和泛化能力往往是同一个硬币的两面。一个能够从少量数据中学到可迁移知识的模型往往也能更好地应对新的、未见过的情况。相反那些需要大量特定数据才能学会任务的模型通常在面对新情况时表现脆弱。五、现实意义从实验室到真实世界这项研究的发现远不止是学术层面的有趣观察它们对现实世界的AI应用有着深刻的启示意义。当我们把目光从实验室的简单数学任务转向真实世界的复杂应用时这些发现的重要性变得更加明显。在对话系统中状态追踪是核心能力之一。一个聊天机器人需要记住用户在对话中提到的信息——比如用户的姓名、偏好、之前讨论的话题等。这些信息需要在整个对话过程中保持和更新就像我们实验中的累加任务一样。研究结果暗示基于变形金刚的对话系统可能需要见过大量不同长度的对话样本才能稳定工作而且它们可能难以将从短对话中学到的规律应用到长对话中。在智能代理和机器人控制领域状态追踪的重要性更加突出。一个自动驾驶汽车需要持续追踪周围车辆的位置和速度一个家庭机器人需要记住房间的布局和物品位置。如果这些系统基于变形金刚架构它们可能需要针对每一种可能的场景长度和复杂度进行专门训练这在实际部署中是不现实的。研究还揭示了为什么大型语言模型在处理长文本时会出现上下文衰减现象。当文本长度超过模型在训练时常见的长度范围时模型的性能往往会显著下降。这不仅仅是因为计算限制更根本的原因可能是这些模型为不同的上下文长度学习了不同的处理策略缺乏真正的长度无关的理解机制。从训练成本的角度来看这些发现也有重要的经济影响。如果要让一个变形金刚模型在各种不同长度的任务上都表现良好所需的训练数据可能呈指数级增长。这不仅意味着更高的数据收集和标注成本也意味着更长的训练时间和更大的计算资源消耗。相比之下具有适当感应偏置的模型可能以极小的成本达到相似或更好的效果。然而这项研究也提醒我们不要过于简单化地理解AI模型的优劣。变形金刚模型在许多任务上的卓越表现是不可否认的特别是在需要复杂推理和创造性思维的领域。关键在于理解每种架构的优势和限制并在适当的场景中使用适当的工具。这些发现也为AI研究的未来方向提供了重要线索。一个有前途的研究方向是开发结合了变形金刚的表达能力和循环网络的感应偏置的混合架构。另一个方向是为变形金刚模型设计新的训练方法使其能够学习到更可迁移的表示。六、深入机制AI模型的学习策略解析为了更好地理解为什么会出现这样的差异研究团队深入分析了不同模型的内部工作机制。这种分析就像是打开不同品牌汽车的引擎盖观察它们如何以不同的方式达到相似的目的地。循环神经网络的工作方式体现了一种渐进式学习策略。当处理序列2、1、0、3、4时LSTM模型会维护一个内部状态这个状态在每一步都会被精确更新。第一步看到2内部状态变为当前和为2第二步看到1状态更新为当前和为3以此类推。这种处理方式的优美之处在于无论序列有多长每一步的操作都是相同的读取新输入更新内部状态。这种机制使得LSTM能够自然地实现参数共享。用于处理第3个元素的神经网络权重与用于处理第30个元素的权重是完全相同的。这就像一个熟练的打字员无论是打一个单词还是一篇文章每个字母的敲击动作都遵循相同的肌肉记忆模式。相比之下变形金刚模型采用的是全局分析策略。它同时观察整个序列2、1、0、3、4然后通过复杂的注意力机制来计算最终结果。这个过程更像是一个数学家在黑板上写下一个复杂的方程式然后通过多步推理得出答案。虽然这种方法在许多复杂推理任务中非常有效但它对于简单的序列累加任务来说可能过于复杂。更重要的是变形金刚的注意力机制会为不同长度的序列学习不同的权重模式。处理长度为5的序列时它可能学会了第一个位置关注自己第二个位置关注前两个位置的模式而处理长度为10的序列时它可能需要学习完全不同的关注模式。这就解释了为什么变形金刚在不同长度之间缺乏知识迁移能力。研究团队还发现了一个特别有趣的现象在某些情况下变形金刚模型会学会模拟循环计算的过程但这种模拟是通过学习特定的注意力模式来实现的而不是通过理解循环计算的本质。这就像一个学生通过死记硬背背下了乘法表而不是理解乘法的概念因此无法灵活应用到新的情况。这种机制上的差异也解释了为什么不同的教学方式对两种模型有如此不同的影响。对齐思维链教学方式强制模型在每一步都输出中间结果这与循环网络的自然处理方式完全吻合因此大大提高了学习效率。而思维链方式要求在看完整个序列后再输出所有中间步骤这对循环网络来说变成了一个额外的记忆负担。七、超越简单任务复杂群操作的挑战为了验证这些发现的普遍性研究团队将实验扩展到了更复杂的数学结构——非交换群操作。如果说之前的累加任务像是学习简单的算术那么这个新任务就像是学习抽象代数。具体来说研究团队选择了对称群S5作为测试平台。对称群听起来很抽象但我们可以把它想象成一套复杂的魔方操作。每个操作都是对5个对象的重新排列比如将位置(1,2,3,4,5)变换为(2,1,4,5,3)。与简单的数字累加不同这种操作是不可交换的——先做操作A再做操作B与先做操作B再做操作A通常会得到完全不同的结果。这种非交换性使得任务变得极其复杂。模型不能像处理累加任务那样依赖简单的数值计算而必须学会追踪复杂的符号操作序列。这更接近真实世界中的许多任务——比如机器人的动作序列规划或者程序代码的执行过程其中操作的顺序至关重要。令人印象深刻的是即使在这种复杂的设定下研究的主要发现依然成立。循环神经网络继续表现出优秀的学习效率和跨长度的知识迁移能力而变形金刚模型依然需要大量的训练数据并且为不同的序列长度学习独立的解决方案。更令人惊讶的是在这个复杂任务中模型之间的性能差距变得更加悬殊。对于累加任务变形金刚模型虽然需要更多数据但最终还是能够学会而在对称群操作任务中变形金刚模型在某些设定下完全无法收敛到正确解。这表明随着任务复杂度的增加感应偏置的重要性不是减少而是增加。这个发现对于理解AI模型的能力边界有着重要意义。在很多实际应用中我们面临的任务都具有类似的复杂性和非交换性。比如在自然语言处理中词序的重要性使得语言理解任务具有天然的非交换特性在机器人控制中动作的执行顺序直接影响最终结果在软件工程中代码语句的顺序决定了程序的行为。八、训练策略的奥秘数据分布的隐藏影响研究团队还发现了一个容易被忽视但极其重要的现象训练数据的呈现顺序对模型学习效果有着显著影响而且这种影响在不同类型的模型上表现得截然不同。他们设计了三种不同的数据分布策略。第一种是固定长度策略只使用最长的序列进行训练就像让学生只做最难的题目。第二种是均匀分布策略各种长度的序列随机混合就像让学生随机练习不同难度的题目。第三种是由短到长策略按照长度递增的顺序呈现训练数据就像传统的教学方法——先学简单的再学复杂的。对于循环神经网络由短到长策略显示出了明显的优势。这种策略让模型能够首先在简单的短序列上掌握基础规律然后逐步将这些规律应用到更长的序列中。就像学习钢琴时先练习简单的音阶再逐步挑战复杂的乐曲一样。短序列提供了更纯净、更容易理解的学习信号帮助模型构建正确的内部表示。这种现象的原因在于短序列中的信噪比更高。在长序列中模型需要同时处理更多的信息容易被无关的变化干扰而在短序列中核心的计算规律更容易被识别和学习。一旦模型在短序列上建立了正确的计算机制这个机制就能自然地扩展到长序列。相比之下变形金刚模型对数据呈现顺序的敏感度要低得多。无论是采用哪种策略它们的学习效果都没有显著差异。这进一步证实了变形金刚模型缺乏真正的归纳学习能力——它们不是通过掌握可迁移的规律来学习而是通过记忆特定的输入-输出模式。在结果监督设定下这种差异变得更加明显。循环网络在由短到长策略下的表现远超其他策略有时甚至能够用十倍更少的数据达到相同的效果。这个发现对实际应用有重要启示如果我们要训练一个处理序列数据的AI系统从简单案例开始的渐进式训练策略可能比随机混合所有数据更有效。这种现象也解释了为什么人类的学习通常遵循从简单到复杂的顺序。我们的大脑似乎也具有类似循环网络的感应偏置能够将在简单情况下学到的规律有效地迁移到复杂情况中。传统的教育方法——比如先学加法再学乘法先学单词再学句子——可能正是利用了这种内在的学习机制。九、未来展望重新思考AI架构设计这项研究的发现不仅揭示了现有AI模型的重要特性更为未来的AI研究指明了新的方向。研究团队的工作提出了一个根本性的问题我们是否过度依赖了计算力的暴力提升而忽视了架构设计中的归纳偏置在当前的AI发展趋势中主流做法是构建越来越大的模型使用越来越多的数据。这种路径在很多任务上确实取得了惊人的成功但这项研究提醒我们单纯的规模扩展可能无法解决所有问题。对于需要持续状态追踪的任务架构的选择可能比模型的规模更加重要。一个特别有趣的发现是分享因子与长度泛化能力之间的强相关性。这意味着一个在训练数据范围内表现出良好知识迁移能力的模型也更可能在面对训练时未见过的情况时保持稳健。这为模型选择和评估提供了一个新的标准我们不仅要关注模型在特定任务上的表现更要关注它的学习是否具有可迁移性。研究还揭示了教学方式与模型架构之间的深度匹配关系。不同的AI架构适合不同的监督策略这启发我们在设计AI系统时要考虑架构和训练方法的协调配合。比如如果我们选择使用循环架构那么对齐思维链式的训练可能更有效如果选择变形金刚架构可能需要采用不同的策略来弥补其归纳偏置的缺失。从实用角度来看这些发现对AI产品的开发有重要指导意义。在需要处理变长序列的应用中——比如对话系统、文档分析、时序预测等——选择具有适当归纳偏置的架构可能比简单地增加模型规模更有效。这不仅能提高性能还能显著降低训练成本和数据需求。研究也为解释当前大型语言模型的某些限制提供了新视角。许多用户发现这些模型在处理很长的文档或对话时表现不稳定可能会忘记早期的信息或产生不一致的回复。根据这项研究的发现这些问题可能不仅仅是技术实现的问题而是变形金刚架构本身缺乏有效状态追踪机制的体现。展望未来一个有前途的研究方向是开发结合了不同架构优势的混合系统。比如可以设计一个系统其中循环组件负责状态追踪和序列处理而变形金刚组件负责复杂推理和创意生成。这种分工合作的架构可能能够在保持各自优势的同时弥补各自的不足。另一个重要方向是为现有架构设计新的训练方法使其能够学到更好的归纳偏置。比如可以研究如何通过特殊的正则化技术或训练策略鼓励变形金刚模型学习更可迁移的表示。也可以探索如何通过课程学习或多任务学习来提高模型的泛化能力。说到底这项研究提醒我们在AI发展的道路上理解比规模更重要。只有深入理解不同AI架构的本质特性和适用范围我们才能构建真正智能、高效、可靠的AI系统。随着AI技术越来越多地融入现实世界的应用这种深层理解将变得更加珍贵和必要。当我们谈论人工智能的未来时也许我们应该更多地关注如何让机器学会像人类一样学习——不是简单地记忆大量的例子而是从少量的经验中提取可迁移的原理并将这些原理灵活地应用到新的情况中。这项由Qualcomm AI研究院完成的研究为我们理解和实现这个目标提供了重要的科学基础。QAQ1变形金刚模型和循环神经网络在状态追踪任务上有什么不同A变形金刚模型像是拥有全局视野的分析师能同时看到整个序列然后计算结果但为每种序列长度都要学习独特策略。循环神经网络像有经验的工匠学会基本操作后能重复应用到任何长度序列具有天然的逐步处理能力。Q2为什么循环神经网络需要的训练数据比变形金刚模型少那么多A循环神经网络具有感应偏置会自动学习可重复应用的基础规则就像学会加法原理后能处理任意数量的加法。而变形金刚模型倾向于为每种情况记忆独特解决方案无法有效地在不同长度间迁移知识因此需要大量数据覆盖各种可能情况。Q3这项研究对现实中的AI应用有什么启示A研究提醒我们在选择AI架构时要考虑任务特点。对话系统、机器人控制等需要持续状态追踪的应用可能更适合循环架构而非简单地使用大型变形金刚模型。同时训练策略也很重要——从简单到复杂的渐进式学习往往更有效。