原文towardsdatascience.com/platonic-representation-hypothesis-c812813d7248?sourcecollection_archive---------9-----------------------#2024-05-23人工智能模型是否正在朝着统一的现实表征演化柏拉图式表征假设认为机器学习模型正在趋同。https://medium.com/itshesamsheikh?sourcepost_page---byline--c812813d7248--------------------------------https://towardsdatascience.com/?sourcepost_page---byline--c812813d7248-------------------------------- Hesam Sheikh·发表于Towards Data Science ·8 分钟阅读·2024 年 5 月 23 日–一篇近期的 MIT 论文引起了我的注意因为其提出了一个令人印象深刻的观点人工智能模型正在趋同即使是在不同的模态——视觉和语言之间。“我们认为人工智能模型中的表征特别是深度网络的表征正在趋同”这就是柏拉图式表征假设论文的开头。但是不同的模型经过不同数据集的训练并用于不同的应用场景如何能够趋同是什么导致了这种趋同✨这是付费文章。如果你不是 Medium 会员你可以在我的新闻通讯中免费阅读此文Qiubyte.https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/7d3f9d3d6b75ce9eeffa8cf92e8fdd3e.png柏拉图的洞穴寓言由Jan Saenredam公有领域创作。1. 柏拉图式表征假设我们认为不同神经网络模型中数据点的表示方式正日益相似。这种相似性跨越了不同的模型架构、训练目标甚至数据形式。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/5da8256363d2d7ad31122d9252187a10.png柏拉图式表征假设。视觉表征X和文本表征Y都是共同现实Z的投影。来源论文介绍本文的核心论点是来源和形式各异的模型正在趋向于一种现实的表征——即描述我们观察到并用于训练模型的世界事件的联合分布。作者认为这种趋向柏拉图式表示的收敛性是由模型所训练的底层数据结构和数据本身的性质驱动的以及模型本身日益增长的复杂性和能力。随着模型接触到更多样的数据集和更广泛的应用它们需要一种能够捕捉所有数据类型中常见的基本属性的表示。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/c0a103eba7bdc3841ba60e0dd6101975.png《洞穴寓言》的插图摘自柏拉图的《理想国》艺术作品来自4edges来源Wikipedia)2. AI 模型会收敛吗各种规模的 AI 模型即使是基于不同架构构建并为不同任务训练的模型也开始表现出在数据表示上的收敛迹象。随着这些模型的规模和复杂度不断增长输入数据变得更加庞大和多样它们处理数据的方式开始趋于一致。在不同数据模态——视觉或文本上训练的模型也会收敛吗答案可能是是的2.1 能说话的视觉模型这种对齐跨越了视觉和文本数据——论文随后确认这一理论的局限性在于它只关注这两种模态而没有涉及音频或机器人对世界的感知等其他模态。支持这一点的一个案例[1]是LLaVA该案例展示了通过 2 层 MLP 将视觉特征投影到语言特征中从而实现了最先进的结果。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/55ffd69249f08c5f8411e44c510cb79c.pngLLaVA 如何将视觉特征映射到语言模型的概述。来源LLaVACC-BY2.2 能看见的语言模型另一个有趣的例子是大型语言模型的视力检查[2]它探讨了大型语言模型在理解和处理视觉数据方面的程度。该研究使用代码作为图像和文本之间的桥梁作为将视觉数据输入 LLM 的创新方法。论文揭示了 LLM 可以通过代码生成图像这些图像虽然可能看起来不真实但仍包含足够的视觉信息来训练视觉模型。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/b5cf01098f7054317c6704cf8e05dd91.png语言模型能看见吗(source)2.3 更大的模型更强的对齐不同模型的对齐与其规模相关。例如训练用于CIFAR-10 分类的较大模型表现出比小模型更强的对齐性。这意味着随着当前构建模型的趋势向 10 亿和 100 亿级别发展这些巨型模型将会更加一致。“所有强大的模型都是相似的每个弱模型都是以自己独特的方式弱。”3. 为什么 AI 模型会收敛https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/da754cb83931f36ce44538279e2c757f.pngAI 模型的学习过程f ∗ 是训练后的模型 F 是函数类 L 是依赖于模型 f 和来自数据集的输入 x 的损失函数 R 表示正则化函数 E 表示数据集的期望值。每种颜色代表收敛的一个原因。 (来源论文)在训练一个 AI 模型时有一些因素对 AI 模型为何会收敛贡献最大3.1 任务变得更加通用随着模型被训练以同时解决越来越多的任务其解决方案空间变得越来越小且更加受限。更高的通用性意味着尝试学习更接近现实的数据点。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/94dad5d024071616ad980eacb4c22f08.png一个模型能够解决的任务越多它就被迫学习一个在解决所有这些任务时都有效的非重叠表示。 (来源论文)柏拉图表示假说论文将其表述为多任务扩展假说“能够胜任 N 个任务的表示比能够胜任 M N 个任务的表示要少。随着我们训练更多通用的模型以同时解决更多任务我们应该预期可能的解决方案会更少。”换句话说解决复杂问题的方案比解决简单问题的方案要窄得多。当我们训练越来越通用的模型且这些模型在庞大的、跨不同模态的互联网数据集上进行训练时你可以想象解决方案空间会是多么的受限。3.2 模型变得越来越大随着模型的能力增强通过更复杂的架构、更大的数据集或更复杂的训练算法这些模型开发出的表示方式变得更加相似。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/1b9e4e58eaeecfa96213276140d77730.png更大的假设空间比小的假设空间更容易收敛到一个解。 (来源论文)尽管柏拉图表示假说论文并未为他们所称之为能力假说提供证明或示例——即“更大的模型比小的模型更容易收敛到共享表示”但似乎显而易见的是至少更大的模型有更多的能力去得出共同的解空间远超过小模型。随着 AI 模型的规模扩大得益于它们的深度和复杂性它们具备了更强的抽象能力。这使得它们能够捕捉数据的基本概念和模式同时抛弃噪声或异常值从而得出一个更加通用且可能更接近现实世界的表示。3.3 简单性偏向想象一下在两个不同任务上训练两个大规模神经网络一个模型必须能够识别图像中的面孔另一个模型被训练来解读面孔的情绪。最初这两个任务似乎没有什么关系——但是你会惊讶地发现两个模型最终会在面部特征表示上趋于相似吗毕竟一切归结于准确识别和解读面部关键点眼睛、鼻子、嘴巴等。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/406bfc4d6cdfd719d909d9d7d8969fd8.png深度神经网络倾向于更简单的函数。来源论文有多篇文献指出深度神经网络有一种倾向倾向于找到更简单、更通用的解决方案[3,4,5]。换句话说深度网络偏爱简单的解决方案。通常被称为简约偏差论文将其表述为深度网络偏向于找到对数据的简单拟合并且模型越大偏差越强。因此随着模型的增大我们应预期其收敛到更小的解决空间。为什么神经网络会表现出这种行为网络表现出简约偏差主要是因为用于训练它们的学习算法的基本属性。算法倾向于偏好更简单、可泛化的模型这是为了防止过拟合并增强泛化能力。在训练过程中简单的模型更有可能出现因为通过捕捉数据中的主导模式它们可以更有效地最小化损失函数。简约偏差在训练过程中充当了一种自然的调节器。它推动模型朝向一种最佳的数据表示和处理方式这种方式不仅能跨任务通用而且足够简单便于高效学习和应用从而增加了模型学习到共同假设空间的机会。4. 这种收敛性的影响那么如果模型正在收敛又会怎么样呢首先这表明不同模态的数据比以前认为的更有用。从预训练的 LLM 微调视觉模型或反之可能会得到出乎意料的好结果。论文中指出的另一个影响是**“规模化可能减少幻觉和偏见”**。这一论点是随着模型的规模扩大它们可以从更大、更具多样性的数据库中学习从而帮助它们形成更准确、更健壮的世界理解。这种增强的理解使得模型能够做出更加可靠且更少偏见的预测和输出。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/2165138d4d2f30d11a5c239ac0ba9116.pngVISION 模型随着能力的增加而收敛。来源论文5. 一点怀疑在考虑论文中提出的论点时必须考虑一些局限性几乎所有这些局限性都在论文中有所讨论。首先论文假设现实世界的双射投影其中一个现实世界概念 Z 有可以学习的投影 X 和 Y。然而某些概念是独特地固有于某一模态的。有时语言能够表达一种概念或情感而许多图像无法做到反之语言也可能无法替代图像来描述视觉概念。其次正如前面提到的论文关注两种模态视觉和语言。第三关于“AI 模型正在趋同”的论点仅适用于多任务 AI 模型而不适用于特定模型如 ADAS 或情感分析模型。最后尽管论文表明不同模型的对齐度有所增加但并未表明这些模型的表示变得相似。大模型之间的对齐分数确实高于小模型但即使如此0.16/1.00 的分数仍然留给研究一些悬而未解的问题。 加入 1000人一起学习Python机器学习/机器学习操作/人工智能数据科学以及大语言模型 关注我并查看我的X/Twitter我每天都会为你提供更新**。**[## QiuByte | Hesam Sheikh | Substack人工智能、编程和机器学习仅在简易的方式下。点击阅读《QiuByte》由 Hesam Sheikh 主办Substack…hesamsheikh.substack.com感谢阅读— Hesam[1] 刘浩李晨吴奇李洋杰。《视觉指令调优》。发表于 NeurIPS2023。[2] Sharma, P., Rott Shaham, T., Baradad, M., Fu, S., Rodriguez-Munoz, A., Duggal, S., Isola, P., and Torralba, A. 《语言模型的视觉检查》。发表于 arXiv 预印本2024。[3] H. ShahK. Tamuly《神经网络中简单性偏差的陷阱》2020 年arxiv.org/abs/2006.07710[4] 关于简单性偏差的简短说明[5] 深度神经网络在初始化时偏向简单函数