字节Seed在论文《The Molecular Structure of Thought》中首次给大模型的长链思维定义了分子式结构。字节Seed都开始用化学思想搞大模型了——深度推理是共价键、自我反思是氢键、自我探索是范德华力传统的大模型长思维链推理基本把AI的思考过程等同于线性结构。但很多情况下后续的一个关键结论可能需要回过头去验证早早提出的假设。CoT把这种非线性的依赖关系忽略了。字节Seed在论文《The Molecular Structure of Thought》中首次给大模型的长链思维定义了分子式结构。在这种分子拓扑中三种键是怎么相互配合的好的推理像分子结构团队把DeepSeek-R1、gpt-OSS等强推理模型的长链思维拆成一步一步的然后给每一步之间的“跳跃”打上标签。打完标签发现所有有效的长链思维里其实就三种基础动作来回组合。第一种叫深度推理像共价键一样结实。通俗来说就是类似“因为A所以B因为B所以C”的硬逻辑推进。团队在语义空间里做了一个很形象的量化分析把模型的每一步思考都当成一个点看这些点最后会散成多大一个圈。圈子越小说明模型越没跑题思考越聚焦。结果发现加上深度推理之后这个散点圈直接缩水22%。深度推理确实起到了收束杂念、锁定核心逻辑的关键作用。第二种叫自我反思像氢键一样有弹性但稳定。类似于“等等我刚才那步是不是想错了”“让我重新检查一下前面的假设”能把后面的思考拐回来跟前面的节点呼应上形成一种折叠感。团队测了模型自我反思时的思维轨迹把每一步思考都看成语义空间里的一个点然后计算反思时会跳回多远、落在哪里。发现81.72%的反思步骤都会精准落回之前已经形成的靠谱思路区域里。还对比了反思前后的思维范围反思前语义空间体积是35.2反思后直接压缩到31.2。再看聚类结果就更清楚了反思之后同一类正确思路的点会紧紧抱团而那些零散、跑偏的分支会被自动推开。也就是说自我反思氢键能把靠谱逻辑揉得更紧实、把跑偏想法筛出去、稳住整个推理大局让长链思考不再松散混乱。第三种叫自我探索像范德华力一样弱但覆盖面广。这个就类似于“要不咱们试试这个角度”“有没有另一种可能性”在语义空间里找新的解题路径。量化分析显示加上探索行为之后模型在语义空间里的思维覆盖范围能从23.95扩大到29.22。虽然思路一打开稳定性就会下降容易跑偏想歪但能让模型跳出死胡同不卡在局部最优解里真正找到全新的解题路线。研究发现所有强推理模型的三种思维行为比例和转换规律都高度一致相关性超过0.9说明有效长链推理存在通用的稳定拓扑结构。你可能觉得“共价键”“氢键”只是个比喻但论文发现这个比喻背后藏着严格的数学对应。在Transformer里注意力权重的计算方式长这样眼熟吗这和统计力学里的玻尔兹曼分布一模一样如果把负注意力分数看作能量那么注意力权重就是模型在语义空间里按“能量”高低选择路径的概率就是能量越低被选中的概率越高。论文进一步分析了三种行为对应的“注意力能量”。深度推理通常发生在相邻步骤之间能量最低;自我反思会跳回较远的步骤能量中等;自我探索跳得更远能量最高.这就解释了为什么强推理模型的三种键比例如此稳定。因为模型的注意力机制本身就在追求最低能量的推理路径而深度推理、反思、探索正好对应了不同距离下的能量层级。语义同分异构体和智能熵减接着团队还抛出了语义同分异构体的概念。这词儿是借的化学同样的分子式原子连接方式不同就能搞出性质完全不同的物质。放到推理里就是同样的题目同样的概念点用不同的”化学键“组合去解出来的推理链条可以完全不一样但都能解对。但不是所有异构体都适合拿来教模型。这里就要引入一个关键概念熵减。在热力学里孤立系统总是自发走向混乱熵增而一个有效的长链推理过程本质上就是在语义空间里不断降低不确定性——从一堆可能的方向中逐步收敛到唯一正确的答案。这个过程就是“熵减”。而“注意力能量”机制正是模型实现熵减的工具。模型的注意力天然偏好能量更低的路径。当深度推理低能量被反复选中反思中等能量把前后逻辑折叠起来探索高能量偶尔探路但不喧宾夺主整个系统的“推理熵”就会快速下降逻辑火速收敛。这如论文里说的只有那些能推动熵快速降低的“化学键”组合才是模型真正能学会、能持续进化的稳定态。这在实验中有个很典型的现象从R1和OSS两个不同强推理模型中蒸馏出的推理轨迹语义层面的内容相似度高达95%但混在一起训练模型反而崩溃了。这说明长链推理的关键是思路结构必须稳定、统一模型才能学得会。MoLE-Syn从零合成稳定推理结构发现问题就要解决问题。基于这一整套发现团队搞了个叫MoLE-Syn的方法来从零合成稳定的推理结构。具体操作就两步。第一步从强推理模型比如R1、QwQ、gpt-OSS的推理链里抽出一张行为转移概率图。这张图里每个节点是一种推理行为化学键每条边是从一个行为跳到另一个行为的概率。第二步拿着这张图让普通的指令模型照着图上画的概率去生成推理链。用这个方法从零合成的训练数据喂给Llama或者Qwen效果逼近直接蒸馏R1的水平。而且这么做有一个大好处就是成本低。只要拿到那张行为转移图普通模型就能自己生产合格的长链推理数据。团队把用MoLE-Syn初始化过的模型拿去做强化学习发现跑起来还特别稳。相比直接用蒸馏数据初始化的模型MoLE-Syn版的在RL过程中收益持续增长震荡也小得多。这说明一开始植入的思维结构够稳后面的强化学习就不会出现逻辑偏移。这项研究的负责人为字节Seed算法专家黄文灏曾在微软亚洲研究院担任研究员。第一作者是哈尔滨工业大学博士、字节Seed实习研究员陈麒光。合作单位还包括北京大学、2077AI Foundation、南京大学、M-A-P、中南大学。不得不说这波操作有点当年薛定谔拿物理学公式推生物学那味儿了。给大模型推理这个卷得飞起的领域开了个挺清爽的新脑洞。论文地址https://arxiv.org/abs/2601.06002