深度Gemini 3预训练负责人揭秘Gemini 3巨大飞跃的关键行业正从“数据无限”向“数据有限”范式转变The MAD Podcast Z Potentials2026年2月21日 11:42图片来源The MAD PodcastZ HighlightsGemini 3的巨大提升是庞大团队通力协作、融合无数改进与创新的成果其基于Transformer的混合专家架构核心是将计算量使用与参数规模分离开来。规模是预训练中提升模型性能的重要因素但并非唯一架构和数据创新的重要性如今可能更甚且预训练领域在长上下文能力、注意力机制等方面有诸多值得关注的发展方向。行业正从“数据无限”向“数据有限”范式转变合成数据需谨慎使用模型架构改进能助力模型用更少数据实现更好效果同时评估在预训练中至关重要且极具难度。Sebastian Borgeaud是Google DeepMind的Gemini 3预训练负责人同时也是开创性论文RETRO的合著者在AI前沿模型研发与系统构建领域具备深厚专业积淀。2025年12月18日他在首次播客访谈中揭秘了这款今年AI领域里程碑式前沿模型的研发逻辑分享了模型背后并非单纯依赖算力提升的系统构建思路。Gemini 3成功密码团队协作与多维度改进的合力Matt Turck大家好我是Matt Turck。欢迎收听《MAD播客》。今天的嘉宾是Sebastian Bourgeaud他是谷歌DeepMind Gemini 3项目的预训练负责人。Sebastian是全球顶尖的人工智能研究者之一同时也是Metis名单成员。这一期播客尤为特别因为这是他首次参与播客录制。我们将探讨Gemini 3的底层构建逻辑、从数据无限时代到数据有限模式的转变、DeepMind研究团队的组织架构以及人工智能的未来发展方向。请大家尽情收听这场精彩的对话。Sebastian欢迎你。Sebastian Bourgeaud谢谢。你好Matt。Matt Turck我想从谷歌DeepMind研究与深度学习副总裁、Gemini联合负责人Aurel Vinyals的一条推特开始我们的对话。他在Gemini 3发布时表示该模型的成功秘诀其实非常简单就是更优质的预训练和后训练。考虑到Gemini 3相较于以往的顶尖模型所实现的巨大飞跃这个秘诀听起来确实有些出人意料的朴素。所以我很好奇你的看法从某种程度上来说事情真的这么简单吗Sebastian Bourgeaud是的我并不认为这是什么重大秘密。至少在我看来这是很正常的情况。人们有时会期待从一个Gemini版本到下一个版本会有某个关键突破带来质的飞跃。但根据我的经验可能确实存在一两个影响较为显著的因素但Gemini 3之所以能比前几代产品有如此大的提升实际上是一个庞大团队共同努力的结果——融合了无数的改进和创新。这一点之后可能还会提到像Gemini 3这样的产品发布离不开整个团队的通力协作。Matt Turck每个人都关心的核心问题是这一现象对于我们理解人工智能的发展进程有何启示从表面上看似乎只是调整了一些关键参数就实现了巨大突破这对我们未来的预期又意味着什么我们不必深入探讨通用人工智能这个概念因为没人能说清它具体指什么。但我们是否应该将这种模型的进步视为通往真正智能的道路而非仅仅是为了在某个基准测试中取得优异成绩是什么让你相信核心模型正在变得越来越智能Sebastian Bourgeaud基准测试的结果无疑在持续提升。而且从测试提示和测试设置来看其难度也在不断增加。即便我拥有计算机科学背景有些问题也需要花费大量时间才能解答。这只是其中一个视角也就是基准测试的视角。我们会定期进行这类评估并且非常谨慎地保留测试集以避免数据泄露。不过人们确实担心模型会过度拟合这些测试集也就是所谓的“基准测试优化”。但我认为这种担忧并没有充分的依据。另一个让我充满信心的方面是内部员工使用该模型提升工作效率的时间在不断增加。每一代新模型都能展现出前所未有的能力在研究和日常工程工作中为我们提供比前代模型更多的帮助。这一实际应用层面的表现也让我们有理由相信模型的能力正在不断增强并且能够真正发挥实用价值。Matt Turck作为一名深入人工智能核心领域的研究者当你跳出具体工作回望时是否仍会对当前的发展水平感到惊讶与几年前的预期相比我们是远超预期、符合预期还是有所落后Sebastian Bourgeaud说符合预期其实很容易但坦白说我们的进展已经超出了我当初的预期。2019年或2020年我刚开始从事大语言模型相关工作时无论是我们如今所开展工作的规模还是模型当前具备的能力都是当时难以想象的。虽然当时的缩放定律确实指向了这一发展方向也有一些人对此深信不疑但我当时其实并不敢笃定我们能走到今天这一步。由此引申出一个有趣的问题未来我们将走向何方如果假设未来五年的发展速度与过去五年相当那么未来几年的发展前景将会非常令人振奋。Matt Turck你对此有何看法这是否意味着人工智能将实现全新的科学发现甚至赢得诺贝尔奖在未来两到三年的短期内你认为人工智能会有哪些发展Sebastian Bourgeaud我认为这是有可能的。在科学领域DeepMind历史上已经开展了大量相关工作未来也必将在这一方向持续发力。我相信未来几年我们将见证一些重大的科学突破。另一方面在我日常的研究和工程工作中我对如何利用这些模型推动进一步发展、更好地理解我们所构建的系统并深化自身研究充满期待。Matt Turck行业内有一个重要的趋势是人工智能研究与工程的自动化。如果进一步推演就会出现“2027年人工智能”这样的场景届时可能会出现发展的不连续性。从实际应用角度来看如今在工作中使用人工智能意味着什么几年后又会带来怎样的变化Sebastian Bourgeaud我认为这更多的不是自动化而是让我们的工作效率更高能够将更多时间投入到更高层次的研究中。在语言模型的日常研究工作中我们需要处理基础设施层面非常复杂且庞大的系统。因此大量时间都用于运行实验、监控实验进程、分析数据和收集结果而真正有趣的部分是提出假设和设计新实验。对于后两项工作我们人类仍将发挥核心作用。而对于前几项工作随着未来一年多智能化工作流程的不断完善有望实现显著的效率提升。行业发展现状技术趋同与差异化探索并存Matt Turck你是否认为各个前沿人工智能实验室实际上都在朝着相同的方向发展做着类似的事情作为行业参与者和观察者我们都有这样一种奇妙又令人困惑的感受似乎每周、每两周或每个月都会有新的顶尖模型问世我们对此已经习以为常。就在我们录制这期播客的两小时前Gemini 3刚刚发布而GPT-5.2也同步推出。从你的角度来看你如何看待这一现象未来的发展趋势会是怎样是否会有某家实验室脱颖而出还是行业将继续由少数顶尖实验室以及一些新兴实验室主导Sebastian Bourgeaud关于第一个问题不同实验室的研究确实存在相似之处。基础技术层面大体相近例如在架构方面我们几乎都在训练类Transformer模型这一点并不令人意外。但在此基础上各个公司也在进行差异化的深耕探索研究领域的不同分支。例如DeepMind在视觉和多模态领域一直保持着强劲的实力这一点不仅体现在用户对模型的使用体验中也反映在基准测试结果上。在推理等领域OpenAI率先推出了相关模型但我们也有自己的研究分支。因此虽然存在相似之处但并非完全一致。关于第二个问题我并没有确切的答案。可以肯定的是如今要开发出像Gemini这样的模型需要庞大的团队和大量的资源。但这并不意味着我们当前的做法是最优的未来可能会出现具有颠覆性的研究成果使小型团队有机会实现弯道超车。这也是我喜欢在谷歌工作的原因之一。谷歌有着探索性研究的传统研究领域广泛这些研究大多与Gemini项目并行开展但我们也能够将其中的一些成果应用到Gemini中。Matt Turck在DeepMind或行业内其他地方是否存在一些团队在秘密研究后Transformer时代的架构有望在未来某一天推出令人震惊的成果行业内是否有这样的团队Sebastian Bourgeaud我相信是存在的。谷歌和DeepMind内部肯定有团队在从事模型架构方面的研究。但这些研究能否取得成功还很难说。毕竟研究本身就充满不确定性很少有研究想法能够最终落地。Matt Turck那么在现阶段一家公司相对于另一家公司的核心优势是否在于人才质量以谷歌为例是否得益于垂直整合我之前提到的Aurel的那条推特被Demis Hassabis转发并评论他表示真正的秘诀在于研究、工程和基础设施的结合。谷歌的核心竞争力是否就在于能够覆盖整个技术栈Sebastian Bourgeaud这无疑是一个重要的优势。研究与工程之间的界限也变得越来越模糊因为我们现在正在构建的是非常庞大的系统。研究工作越来越像工程工作反之亦然。这种思维模式在DeepMind过去几年发生了很大的转变之前更多的是传统的研究思维而现在围绕Gemini项目更强调的是“研究型工程”。基础设施也同样重要我们正在构建的系统极为复杂因此拥有可靠、高效且可扩展的基础设施至关重要这能确保研究型工程工作不会受到阻碍。Matt TurckGemini 3是基于TPU训练的而不是NVIDIA的芯片对吗我想深入了解一下Gemini 3但在这之前先聊聊你个人。你是Gemini 3的预训练负责人这具体意味着什么请再分享一下你的个人背景和经历。Sebastian Bourgeaud我是Gemini预训练的负责人之一。我的工作内容比较多元一部分是实际的研究工作致力于提升模型性能。不过现在我自己亲自运行实验的次数减少了更多的是帮助设计实验并与团队成员一起审核结果。另一部分工作是协调与整合这部分也很有趣。目前预训练团队规模相当大具体人数难以精确统计但大约有150到200人每天在预训练相关领域工作涵盖数据、模型、基础设施和评估等多个方面。协调这么多人的工作将大家的努力整合起来是一项相当复杂且耗时的任务尤其是要做好这项工作。对我而言这一点至关重要因为让每个人都能发挥所长、取得进展才是我们实现最大突破的关键而不是让一两个人或一小群人比如10人独自领先。短期内少数人的领先可能会有一定效果但从长远来看成功的关键在于整合众多人的工作成果。个人经历分享从多元成长背景到DeepMind职业深耕Matt Turck关于你的个人背景我很好奇你是在哪里长大的小时候和青少年时期是什么样的我一直想探寻顶尖人工智能研究者的成长轨迹他们来自哪里是什么让他们成为了今天的自己Sebastian Bourgeaud我在欧洲多个地方长大经常搬家。我出生在荷兰7岁时搬到瑞士。我的父亲是瑞士人母亲是德国人。我在瑞士完成了大部分学业和高中初期的课程主要使用法语部分课程使用德语。15岁时我搬到了意大利在那里完成了高中学业直到19岁左右。当时我本来打算去苏黎世联邦理工学院深造但有一天早上我偶然看到一份大学排名发现剑桥大学位居榜首。于是我想不如申请试试反正也没什么损失。几个月后我收到了录取通知书便决定前往剑桥在计算机实验室完成了本科和硕士学业。Matt Turck你小时候是不是数学特别好属于计算机科学方面的神童Sebastian Bourgeaud我的父亲有技术背景。我记得10岁或11岁时就开始和他一起学习编程并且一直很喜欢这项技能。在学校里我在数学和科学方面也一直表现得很轻松数学考试从来不用特意复习就能取得不错的成绩。但上了大学之后情况就完全不同了。这就是我的高中经历。Matt Turck非常棒。那么你从学校毕业后是如何一步步走到今天这个位置的Sebastian Bourgeaud这可以说是一个幸运的契机。我硕士期间的一位讲师同时也是DeepMind的研究员。记得在最后一堂课结束时我正在收拾东西突然想不如向他请求推荐反正最坏的结果也只是被拒绝。于是我鼓起勇气上前询问他是否愿意为我推荐。他很爽快地答应了让我把简历发给她他会尽力帮忙。就这样我获得了DeepMind的面试机会。那是在2018年当时DeepMind还没有并入谷歌我大学毕业后以研究工程师的身份加入了DeepMind。Matt Turck你最初的工作是什么后来又是如何成为预训练负责人之一的Sebastian Bourgeaud刚开始加入DeepMind时由于DeepMind以强化学习闻名我最初参与的项目也与强化学习相关。具体来说我们训练了一个无监督网络来学习Atari游戏环境中的关键点并尝试让Agent玩Atari游戏。我从事这项工作大约六个月但我并不喜欢其合成性质。我一直想从事与真实世界数据相关的工作希望能产生实际的影响。总的来说我喜欢构建有用的东西不太喜欢纯粹的学术研究。这促使我开始转向表征学习领域训练能够很好地进行表征的神经网络来完成各种任务。这里有一个有趣的小插曲我经常和团队成员提起我参与的第一个相关项目名为“基于真实世界数据的表征学习”。当时之所以要在项目名称中加上“基于真实世界数据”这一限定是因为人们否则会默认项目使用的是合成环境或合成数据。但从那以后情况发生了彻底的改变。这就是我在该领域的第一个项目具体涉及大语言模型和Transformer。我们研究了Transformer等架构以及BERT、XLNet等模型致力于学习和改进这些表征。Matt Turck后来你参与了Retro项目对吗能和我们聊聊这个项目吗Sebastian Bourgeaud是的。在那之后我们开始致力于大语言模型的规模化发展。我们首先开展了Gopher项目这是DeepMind发表的第一篇关于大语言模型的论文。当时团队大约有10到12人从那时起就可以明显看出这类研究需要团队协作单靠个人是无法完成的。也就是从那时起我开始从事预训练工作进行大规模的预训练这不仅培养了我的研究兴趣也让我找到了自己热爱的领域。我们训练了第一个稠密Transformer模型当时它有2800亿个参数使用了3000亿个Token。现在我们肯定不会再用当时的方法来做这类工作了但那是一次非常棒且有趣的学习经历。在那之后出现了两个分支项目Chinchilla和Retro。在Chinchilla项目中我们重新研究了如何调整模型规模和数据规模特别是从训练计算最优的角度出发。核心问题是在固定的训练计算资源下如何训练出性能最佳的模型是应该增加模型规模还是增加数据规模OpenAI之前在这一领域已经开展了一些相关工作。我们发现与之前的认知相比数据规模的扩展速度应该更快而不是一味地扩大模型规模。有趣的是这一点在我们如今的日常工作中仍然非常重要尤其是它对模型训练完成后的部署成本和使用成本有着重要影响。另一个分支项目是Retro这更多地侧重于架构创新。在这个项目中我们探索了如何通过让模型能够从大型文本语料库中检索信息来提升模型性能。也就是说不要求模型将所有知识都存储在参数中而是让模型在训练和推理过程中都能够查找特定信息。研究核心素养与团队管理研究品味、目标平衡与组织架构Matt Turck你提到了“研究品味”这个词非常有意思。你如何定义它对于一名研究者来说它有多重要Sebastian Bourgeaud如今研究品味非常重要而且很难量化。但有几个关键要素首先你的研究不能是孤立的必须能够与其他人的研究相互配合、相互整合。比如我对模型做了一项改进但这使得其他人使用该模型的难度增加了5%这很可能不是一个好的权衡。因为这会拖慢其他人的研究进度进而影响整体的研究进展。其次要对复杂性保持警惕。不过复杂性是相对的取决于人们的熟悉程度。但我们在研究中能够承受的复杂性是有限度的同时也需要控制研究风险。因此意识到这一点并加以管理至关重要。通常情况下我们并不一定非要使用性能最优的研究方案而是会在性能上做一些让步选择复杂度稍低的版本因为我们认为这将有助于未来取得更多的进展。这就是我认为构成研究品味的两个主要方面。Matt Turck这非常有趣。想必研究品味还包括一种直觉能够判断哪些研究方向可能可行哪些可能不可行尤其是在计算资源有限的情况下。你觉得是这样吗Sebastian Bourgeaud是的这当然也是一个重要的方面。有些人在这方面的直觉确实比其他人更强而丰富的经验对此大有帮助。但可以肯定的是计算资源是研究工作的一个瓶颈。如果我们有更多的计算资源我相信我们能够更快地取得更多的进展。因此在一定程度上你需要判断研究树的哪个分支值得探索以及在该分支下应该进行哪些实验。但同时也要明白大多数研究想法都不会成功。因此你需要判断在某个方向上投入多少精力后应该转向其他方向或者是否应该继续坚持。另外一个有趣的点是尤其是在深度学习领域一个负面结果并不意味着某个方法行不通而往往意味着你还没有找到让它可行的方法。因此意识到这一点也非常关键。Matt Turck既然我们谈到了研究以及如何组织研究团队取得成功我们再深入探讨一下。你提到了权衡其中一种权衡可能是短期目标与长期目标之间的平衡。这方面是如何运作的你是如何看待的Sebastian Bourgeaud这也是我经常思考的问题。总会有一些关键路径上的事情需要完成比如模型的某个部分需要改进或者我们知道模型的某个部分不够优化。因此我们会投入大量精力来解决这些眼前的问题。这样做有几个原因首先我们知道这些改进肯定会提升模型性能这是一个相对安全的赌注。其次那些看起来不够完善的部分在未来模型规模扩大或能力增强时往往会引发更多问题。因此认真对待并解决这些问题至关重要。这是一方面。另一方面是更具探索性的研究这些想法可能会应用于下一个版本或再下一个版本的Gemini它们可能会对模型性能产生更大的影响但目前还没有得到充分验证。我并没有一个非常明确的答案来平衡这两者这也具有一定的周期性。例如在模型规模扩张阶段探索性研究通常会多一些因为此时没有太多需要并行解决的紧急问题。但在即将推出新架构或新模型之前工作重点就会转向降低风险更多地关注执行层面。Matt Turck与此相关的另一个问题是研究与产品之间的张力。正如我们之前所讨论的你们处于与其他实验室的持续竞争中。那么是否存在这样的压力比如“我们需要取得更好的分数或者在某个比赛中获胜”等非常实际的短期产品目标与我们知道的能够长期提升模型性能的工作之间的冲突这和我们之前讨论的短期与长期目标的权衡是类似的。Sebastian Bourgeaud这也是我喜欢谷歌的原因之一。我认为这种压力其实很小因为所有的领导层都有研究背景。他们非常清楚虽然在一定程度上可以强制加速特定基准测试和某些目标的实现但最终研究工作的进展才是最为关键的。至少在我日常工作中我从未真正感受到过这种压力。Matt TurckDeepMind的团队是如何组织的你提到预训练团队有几百人对吗是否有专门的后训练团队、对齐团队大家是如何协作的Sebastian Bourgeaud从最高层面来看我们有预训练团队和后训练团队。在预训练团队中有专门负责模型、数据、基础设施和评估的人员评估工作非常重要我认为人们往往低估了评估研究的重要性而做好评估其实是一件非常困难的事情。此外还有后训练团队当然也有庞大的团队负责基础设施和部署工作。Gemini 3深度解析架构、多模态特性与预训练关键问题Matt Turck感谢你的介绍。现在我们换个话题按照之前的约定深入了解一下Gemini 3。包括它的底层架构、深度思考能力、预训练过程、数据缩放等方面。首先从架构的宏观层面来看作为一名忠实用户我感觉Gemini 3与2.5版本有很大的不同。是否有某个重大的架构决策导致了这种差异你如何描述它的架构Sebastian Bourgeaud从宏观层面来看与前一个版本相比架构并没有发生太大的变化。正如我之前所说是多个方面的改进共同促成了巨大的提升。不过从整体架构来看它是一个基于Transformer的混合专家架构。因此如果你仔细观察会发现其中包含了许多原始Transformer论文中的核心元素。Matt Turck你能为听众科普一下什么是混合专家架构吗Sebastian Bourgeaud从宏观层面来看Transformer主要由两个模块组成一个是注意力模块负责跨时间、跨不同Token混合信息另一个是前馈网络模块主要负责提供记忆功能和计算能力以便模型进行推理并且前馈网络模块是对单个Token进行并行处理的。在原始的Transformer架构中前馈网络模块是单一的属于稠密计算输入经过线性变换得到隐藏层维度然后应用激活函数再通过线性变换得到稠密模块的输出。这是原始论文中的设计。而在Transformer出现之前就已经有很多关于混合专家架构的研究。混合专家架构的核心思想是将计算量的使用与参数规模分离开来。通过动态路由将计算能力分配到特定的专家模块而不是将两者绑定在一起。Matt TurckGemini是原生多模态模型。从实际应用角度来看这对模型处理文本、图像或视频意味着什么Sebastian Bourgeaud这意味着并不存在专门处理图像、音频或文本的独立模型而是由同一个神经网络同时处理所有这些不同的模态。Matt Turck想必这也涉及到成本问题。原生多模态是否意味着从Token的角度来看成本更高Sebastian Bourgeaud这是一个非常好的问题。这涉及到两方面的成本。不过我认为其带来的收益在很大程度上超过了成本这也是我们训练这类模型的原因。第一个成本可能不太容易被人们察觉那就是我之前提到的复杂性成本和研究成本。因为要处理更多的任务尤其是不同模态之间的相互作用这会影响到研究的多个方面增加复杂性因此我们需要花费更多的时间进行思考和研究。第二个成本是与纯文本相比图像的输入规模通常更大。因此如果采用简单直接的处理方式实际的计算成本会更高。但当然我们也可以通过相关研究来提高这些处理过程的效率。Matt Turck好的我们来谈谈预训练这是你主要负责的领域。首先我们在对话一开始就提到了缩放定律几分钟前也谈到了Chinchilla。2025年行业内有一个广泛讨论的话题是“缩放定律的终结”尤其是在预训练领域。Gemini 3的成功是否表明这种说法并不正确缩放定律仍然在发挥作用Sebastian Bourgeaud在我看来这些讨论总是有些奇怪因为我的实际经验与这些说法并不相符。我认为规模是预训练中一个非常重要的方面对提升模型性能至关重要。但实际情况是人们之前可能高估了规模的作用。规模确实很重要但它并不是唯一的因素。规模的扩大能够以相对可预测的方式提升模型性能这正是缩放定律所告诉我们的随着模型规模的扩大模型性能会提升多少。但这只是其中一部分。其他因素还包括架构和数据创新这些对于预训练性能也起着至关重要的作用如今其重要性可能甚至超过了单纯的规模。但规模仍然是一个重要的因素。Matt Turck没错。我们这里专门讨论的是预训练对吗因为今年我们在强化学习后训练、测试和计算等方面都实现了规模化。但对于预训练来说你是否认为不仅缩放定律没有失效反而由于数据和不同架构的推动出现了加速的趋势我的理解是否正确Sebastian Bourgeaud我认为应该这样说这些因素是相互叠加的。规模是一个维度但模型和数据的改进也会提升实际性能。有时创新带来的收益会超过规模扩大带来的收益而有时单纯的规模扩大是提升模型性能的正确选择。这是预训练方面的情况。在强化学习及其规模化方面我认为我们看到的很多现象与预训练领域类似或者说与我们在预训练领域所经历的情况相似。有趣的是由于我们在预训练方面积累了丰富的经验很多经验教训都可以应用到强化学习的规模化中。Matt Turck说到数据Gemini 3的预训练数据构成是怎样的我记得你们之前发布过一份模型卡片其中提到了一些相关信息。预训练数据都包含哪些内容Sebastian Bourgeaud预训练数据是多种来源的混合。从本质上来说这些数据是多模态的包含了许多不同来源的信息。Matt Turck这个领域的另一个经典问题是我们是否即将面临数据枯竭人们总是在讨论是计算资源不足还是数据不足。显然今年合成数据的使用呈上升趋势。在你的日常工作中或者从整体来看你认为合成数据在哪些方面有用在哪些方面没有用Sebastian Bourgeaud合成数据是一个有趣的领域。使用合成数据时必须非常谨慎因为很容易误用。通常情况下人们会使用一个性能强劲的模型来生成合成数据然后通过小规模的消融实验来验证合成数据的效果。但一个非常有趣的问题是你能否生成合成数据来训练一个未来的模型并且让这个新模型的性能优于生成合成数据的原始模型我们在这方面投入了大量的时间进行思考和研究。关于你提到的另一个问题我们是否即将面临数据枯竭我认为不会。我们当然也在为此做准备但更重要的是正如我之前提到的行业正经历一场范式转变之前我们处于数据无限的发展阶段数据可以按需扩展而现在我们更多地转向了数据有限的模式这一转变切实改变了诸多研究方向以及我们思考问题的方式。一个很好的类比是在大语言模型出现之前很多人都在基于ImageNet等基准测试开展研究当时也处于一个数据非常有限的阶段因此诞生了很多适用于该阶段的技术。Matt Turck这可能涉及到一个行业内的普遍概念——基于推理轨迹训练模型。也就是说迫使模型展示其得出某个结果的过程然后利用这些轨迹来训练下一个模型。你们是否在这样做你认为这是一个有趣的方向还是未来的发展趋势你的看法是什么Sebastian Bourgeaud很遗憾我无法对此类具体问题发表评论。Matt Turck看来我问对了问题。但或许从总体来看行业内是否有很多人在这样做Sebastian Bourgeaud我认为是这样的。这也与你之前问到的合成数据问题相关我们在这方面的方法是相似的。Matt Turck或许我们不必将话题引向未来但另一个重要的问题和趋势是模型如何能够用更少的数据进行学习这也是你在谈到数据有限模式时所暗示的。无论是在DeepMind内部还是在行业内你是否看到了一些有趣的方法就像那个著名的类比所说的模型能够像人类一样高效学习Sebastian Bourgeaud我想先澄清一下我之前所说的“数据有限模式”。我并不是指数据量减少了而是指数据量是有限的。这种范式转变是从“数据无限”到“数据有限”。其次模型架构研究在某种意义上正是为了解决这个问题。当你在模型架构方面取得改进时通常意味着使用相同数量的数据训练模型可以获得更好的结果或者说要达到与之前模型相同的结果所需的训练数据量更少。这是其中一个方面。但不可否认的是如今模型训练所需的数据量仍然远远超过了人类所能接触到的数据量。当然这其中还涉及到进化过程等因素。我觉得这类宏观讨论很难理解和跟进因为要将人类的学习数据量与如今的预训练数据量进行对比需要做出很多假设。但至少从表面上看我们使用的数据量确实比人类多得多。Matt Turck在整个行业中预训练领域还有哪些发展方向让你感到兴奋Sebastian Bourgeaud我认为其中一个方向是长上下文能力。在Gemini1.5中我们在长上下文能力方面取得了巨大的飞跃。这使得如今的模型和Agent能够处理诸如代码库之类的大型任务因为它们的上下文长度显著增加。我认为未来一两年内在这方面将会有更多的创新不仅会提高长上下文处理的效率还会进一步扩展模型的上下文长度。这是从能力层面来看预训练在这方面有很大的潜力非常值得关注。相关地至少在注意力机制方面我们最近取得了一些非常有趣的发现我认为这些发现将在未来几个月内塑造我们的许多研究方向我个人对此非常兴奋。我想再次强调我之前提到的一点事情的进展往往是多种因素共同作用的结果。有很多小型和中型的改进正在逐步推进比如修复某个问题、解决某个漏洞或者某项研究显示出了良好的前景。所有这些因素结合在一起将再次推动行业取得重大进展。Matt Turck回想我们之前谈到的Retro项目你是该项目的合著者该项目侧重于效率让小型模型能够发挥更大的作用。而现在你身处Gemini 3的世界这里涉及海量数据和超长上下文窗口的训练。你认为这种大型模型、超长上下文窗口的范式是否会使得检索增强生成和搜索变得不再必要所有功能都将被整合到模型中当然企业数据方面可能是一个例外但从总体来看是这样吗Sebastian Bourgeaud这是一个很有趣的问题。首先我认为Retro项目的核心是检索信息而非存储信息并不一定是为了让模型更小。它关注的是如何让模型在预训练阶段就能够进行更多的推理而不仅仅是存储知识。这一点在今天仍然非常重要。有趣的是直到最近预训练的迭代周期一直比后训练慢得多。因此在预训练方面做出这些重大改变在风险和时间成本方面都相当高昂。而后训练阶段的检索增强生成或搜索等方法迭代速度要快得多也能带来非常出色的性能。在我看来从长远来看最终的解决方案应该是通过可微分的端到端方式来实现这一目标这意味着可能需要在预训练阶段或者未来类似的训练阶段就学习检索能力并将搜索功能整合到大规模训练中。我认为强化学习的规模化可能已经开启了这一进程但在架构方面还有很多工作要做。这一点我们将在未来几年内看到。我想强调的是人们经常谈论模型架构这确实是提升预训练性能的一个重要方面但还有其他方面也同样重要比如基础设施、数据和评估这些方面往往没有得到同等程度的关注。评估尤其困难在预训练中更是如此因为它需要弥合两个差距。一方面我们日常训练和评估所使用的模型通常比最终规模化后的模型更小、性能更弱。因此评估方法必须能够预测大规模模型的性能仍然能够为大规模模型指明正确的方向也就是说它必须是一个良好的代理指标。另一方面还存在后训练差距。模型在预训练后并不会直接投入使用还会进行后续的训练。因此我们在预训练阶段或对预训练模型进行的评估必须能够很好地反映模型在后续训练后的表现。因此在评估方面取得进展至关重要这也非常困难。评估方面的进步在很大程度上推动了我们在模型和数据改进方面的进展因为它让我们能够准确衡量模型或数据的实际改进效果。Matt TurckDeepMind的评估都是内部构建的吗你们有自己的评估体系Sebastian Bourgeaud是的在很大程度上是这样而且越来越倾向于内部构建。因为我们发现外部基准测试虽然可以在短期内使用但很快就会受到污染。也就是说这些基准测试的内容会以不同的形式在网络上传播如果我们的训练数据中包含了这些内容就很难检测出来。因此要避免自欺欺人真正了解模型的实际性能唯一的方法就是创建独立的评估集并严格保密。Matt Turck与此相关的一个问题是对齐是你们在预训练阶段重点考虑的问题还是更多地属于后训练阶段的范畴或者两者都有Sebastian Bourgeaud我认为大部分对齐工作是在后续训练阶段进行的但预训练阶段也有一些相关的工作。我不能在这里透露太多细节但确实有一些方面与预训练相关我们也会对此进行考量。Matt Turck从一个非常简单的层面来看我一直很好奇以Gemini为例如果核心数据集来自互联网而互联网上有很多不良信息。那么对齐的首要原则是不是将这些不良信息排除在模型训练之外Sebastian Bourgeaud这是一个有趣的问题我并没有一个确定的答案。但我们不希望模型产生这些不良内容。从根本上来说模型需要了解这些不良信息这样才能知道要远离它们。因此我们至少需要让模型接触一部分这类信息以便它能够识别这些不良内容并避免产生相关输出。否则当用户提到某些不良信息时模型可能根本不知道用户在说什么也就无法判断这是不良信息。Matt Turck我们来谈谈DeepThink这是在Gemini 3发布几天后推出的思考型模型。首先它是一个独立的模型还是Gemini 3的一部分我们应该如何看待它Sebastian Bourgeaud我不能对此发表太多具体评论。Matt Turck当模型进行思考用户需要等待10秒、20秒或更长时间时后台发生了什么Sebastian Bourgeaud是的我想在你之前的一些播客中已经详细讨论过这个问题。这本质上是一个生成思考过程的过程。与仅在模型内部进行计算不同我们还会在序列长度层面进行计算让模型有更多的思考空间。因此模型会开始提出假设、测试假设、调用一些工具来验证假设、进行搜索等。最后模型可能会回顾整个思考过程为用户提供一个明确的答案。Matt Turck行业已经逐渐接受了这种通用思考范式。Sebastian Bourgeaud是的。Matt Turck你能谈谈这其中的智能体部分以及谷歌的“反重力”项目吗你觉得它有趣的地方在哪里人们应该了解些什么Sebastian Bourgeaud这大概就是我之前提到的与我自己工作相关的内容。Matt Turck我觉得这很有趣。Sebastian Bourgeaud我们日常的很多工作都是执行层面的比如监控实验进程等。我认为智能体在这方面能够带来最大的影响。回到预训练的话题我认为视觉感知方面对于智能体来说非常重要因为现在我们要求模型能够与计算机屏幕进行交互。因此具备出色的屏幕理解能力至关重要这也是预训练阶段的一个重要方面。Matt Turck在“反重力”项目中有一个非常有趣的“氛围编程”概念——当你提出需求时你甚至不需要清楚地说明具体要求模型就能理解你的意图。这种“氛围”是预训练阶段的成果还是后训练阶段的产物如何将“氛围”融入模型中Sebastian Bourgeaud这是一个有趣的问题。我想如果你问五个不同的研究者可能会得到五个不同的答案。人们还会提到“大型模型的质感”比如GPT-4.5在这方面就有很明显的表现大概大型模型在感觉上会有所不同。我不会用这些具体的术语来描述但我认为“氛围”本质上与此相关。如今在很大程度上预训练可能在模型的“感觉”方面发挥着更大的作用而不仅仅是后训练。对于“氛围编程”来说我认为这可能更多地与强化学习规模化和后训练相关因为通过大量的数据训练模型能够很好地完成这类任务。行业趋势与未来展望技术方向、应用挑战与人才建议Matt Turck我们来稍微宏观地看待这个问题作为对话的最后一部分。我很好奇行业的整体发展趋势。今年神经信息处理系统大会上讨论的一个核心主题是持续学习。我想了解你的看法尤其是从预训练的角度来看。因为目前我们的范式是每隔几个月或几年就会训练一个全新的大型基础模型。首先什么是持续学习其次如果持续学习成为主流这将对重新训练产生什么影响Sebastian Bourgeaud持续学习本质上是指随着新知识的发现不断用这些知识更新模型。比如明天出现了一项新的科学突破而我们昨天训练的基础模型并不知道这项突破。在预训练方面我认为过去几年已经取得了很大的进展这主要体现在后训练和搜索方面。通过使用搜索工具进行搜索调用模型可以获取这些新信息。从某种意义上说这也正是我们之前谈到的Retro项目所做的事情——通过检索数据尝试将知识语料库与推理部分分离开来。这是一方面。另一方面在预训练方面这也与我之前提到的长上下文能力相关。一种实现持续学习的方式是不断扩展用户的上下文让模型在上下文中获取更多的信息从而具备持续学习的能力。但当然这可能还需要一场更大的范式转变。也许这就是人们所讨论的能否改变训练算法让模型能够持续地从来自现实世界的数据流中进行学习。Matt Turck除了持续学习你认为当前研究中还有哪些热门、有趣或令人关注的方向Sebastian Bourgeaud正如我之前提到的目前有很多小型的改进正在积累这是推动行业进步的一个重要因素。历史上这种方式一直是推动进展的主要动力我相信未来也会继续如此。我之前提到的长上下文架构和长上下文研究是其中一个方面。在预训练方面注意力机制也是一个重要的研究方向。此外从无限数据到有限数据或数据有限模式的范式转变也将带来很多变化和有趣的研究。这只是预训练领域的情况。另一方面如今使用这些模型的人数正在迅速增长。因此我们在预训练阶段也需要更多地考虑模型的部署成本——模型的使用成本有多高能否大规模部署。在预训练阶段我们可以采取哪些措施来提升模型质量同时降低部署成本、减少资源消耗这也是一个非常有趣的方向。Matt Turck对于正在收听这期播客的学生或博士生来说如果他们希望在几年后成为像你这样的人你认为他们应该思考或关注哪些问题这些问题不是一两年内就能解决的而是更具长远意义、更有趣的问题Sebastian Bourgeaud有一点变得越来越重要那就是在进行研究的同时要了解系统层面的知识。我们现在构建的系统非常复杂。因此能够理解从TPU到研究层面的整个技术栈是一种非常重要的能力。因为这样你就能发现不同层级之间的差距而这些差距可能是其他人没有注意到的。同时你也能够全面地思考你的研究想法对整个TPU技术栈的影响。我认为能够做到这一点的人通常会产生很大的影响力。因此在专业方向上应该关注研究型工程和系统方面的内容。我是模型研究的负责人而不仅仅是纯粹的模型架构研究。这是一个方面。我个人仍然对我们在Retro项目中开始的检索研究非常感兴趣。我认为这个领域之前还不够成熟但现在情况正在发生变化。我有理由相信在未来几年内类似Retro的技术可能会应用于像Gemini这样的顶尖模型中。Matt Turck为什么之前这个领域不够成熟而现在情况可能会发生变化Sebastian Bourgeaud我认为这与我之前提到的复杂性有关同时也因为后训练阶段的迭代速度更快能够更快地实现相关功能。正如我之前所说通过后训练阶段的搜索和数据处理我们可以以更简单的方式让模型获得类似的能力。随着后训练和强化学习规模化的发展这种情况可能会再次发生转变使更多的功能回归到预训练阶段。Matt Turck你认为目前人工智能领域是否存在过度投资的领域也就是那些在逻辑上并不合理但行业却投入了大量资金的领域Sebastian Bourgeaud我认为现在情况已经好多了。大约两年前我看到很多人还在试图创建专门的模型来解决那些通用模型在半年或一年内就能够解决的任务。但现在人们已经逐渐意识到对于通用任务或不需要极端专业模型的任务使用通用模型可能不是当前版本而是下一个版本可能就能够完成。这意味着关于如何使用模型、如何构建模型的应用框架等方面的研究变得越来越重要。同时如何提高模型和这些应用框架的稳健性使其能够减少错误并从错误中恢复也是一个重要的研究方向。Matt Turck与此相关的一个问题是对于初创公司你有什么建议或推荐从创始人或风投的角度来看基础模型的能力越来越强并且训练数据越来越多样化。以前模型只能进行对话而现在已经能够处理金融工作、股权表等专业任务这似乎缩小了初创公司的发展空间。你对此有何看法Sebastian Bourgeaud我认为初创公司可以回顾一下一年前或一年半前模型的能力再看看现在模型的能力然后进行合理的推断。模型正在不断进步的领域未来可能会继续保持进步的趋势。而那些进展不大的领域可能是更值得研究的方向。我现在没有具体的例子但这是一个总体的建议。Matt Turck在未来一两年内你个人的职业发展中有什么让你感到兴奋的事情Sebastian Bourgeaud我非常喜欢日常工作中与众多优秀的人合作并从他们身上学习。这在很大程度上驱动着我。每天上班我都会与非常聪明的人交流他们会教给我很多新的知识。这是我非常喜欢的一点。正如我多次提到的有很多不同的因素正在共同作用还有很多方面有提升的空间。我真的非常好奇因为目前来看这类工作的进展似乎看不到尽头。能够见证这一过程看看我们能够走多远这真的非常有趣。至少在未来一年左右我认为这种快速发展的趋势不会放缓。Matt Turck非常好。这是一个非常棒的收尾。Sebastian非常感谢你参加这期播客。我们非常感激这是一场非常精彩的对话。谢谢。Sebastian Bourgeaud谢谢Matt。原视频”We’re Ahead of Where I Thought We’d Be” — Gemini 3 the Future of AIhttps://www.youtube.com/watch?vcNGDAqFXvew编译Lingyun Xu