点击下方卡片关注“CVer”公众号AI/CV重磅干货第一时间送达点击进入—【顶会/顶刊】投稿交流群添加微信号CVer2233小助手拉你进群扫描下方二维码加入CVer学术星球可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料及应用发论文/搞科研/涨薪强烈推荐转载自新智元 编辑Aeneas【导读】仅用两个月AI 就「自己」写出了一个能跑模型、对标PyTorch的深度学习系统陈天奇、贾扬清纷纷大赞AI终将完全超越人类程序员。最近英伟达又发布了一个炸裂成果。英伟达高级工程师Bing Xu开源了VibeTensor项目并且表示「这是第一个完全由 AI 智能体生成的深度学习系统没有一行人类编写的代码。」这是什么概念深度学习运行时Deep Learning Runtime是让神经网络真正跑起来的底层系统系统。仅仅用两个月AI就自己写出了一个「深度学习运行时」。它不是demo不是PPT里的概念是真正能跑起来的、对标PyTorch的一个系统这个项目也获得了陈天奇、贾扬清等大佬的盛赞。两个月AI写出比肩PyTorch的成果AI能不能从零生成一整套「深度学习系统软件」这里指的是那种真正的、工程师平时根本不敢让AI碰的底层系统。答案是可以。VibeTensor是一个受PyTorch启发的即时运行时它具有全新的C20内核CPU CUDA、torch风格的Python覆盖层以及实验性的Node.js/TypeScript API。注意它并不是一个轻量级封装器。它实现了自己的张量/存储、调度器、自动微分引擎、CUDA运行时和缓存分配器和插件ABI。在VibeTensor项目中人类只需要做这几件事给出高层架构、定义约束条件设定性能与可靠性目标。剩下的事就可以全部交给LLM驱动的编码智能体包括C核心运行时Python APINode.js接口等等。英伟达工程师们再也不用手动编写每一行代码了。速度也是很惊人仅仅用两个月时间整个系统就开发完成了。两个月是什么概念要知道PyTorch经过了十年级别的演进需要成百上千名工程师进行无数次架构的重构。而VibeTensor只需要2个月由AI生成大量代码还覆盖了完整的运行时链路。当然VibeTensor现在还不能取代PyTorch。虽然某些特定内核的速度更快但它整体的训练性能仍然比PyTorch慢。但这根本不是重点。随论文一同发布的AI生成算子内核套件的宏观结构示意图该套件包含多个后端实现Triton、CuTeDSL以及PyTorch参考路径重点是AI已经能造出PyTorch级别的复杂系统了。这就证明人工智能智能体已经足够强大能够构建复杂的、功能齐全的软件系统而不仅仅是简单的脚本。编码智能体不仅能写函数还能在测试约束下协同生成并验证一个跨越多层抽象的复杂系统。网友们纷纷惊呼库兹维尔预言的递归改进循环正在发生当然AI智能体虽然可以编写大量代码但最终成功与否还要取决于项目是否附带评审。有人说英伟达真正的秀肌肉之处在于敢把生产级的C内核交给智能体来写。这就意味着英伟达背后有着世界一流的测试基础设施以及完善到位的运行时遥测体系。用AI快速交付其实并不难真正困难的是如何可靠地交付——而这依然是人类的护城河。VibeTensor架构这个架构的宏观视角是这样的。从使用体验上看VibeTensor是一个受PyTorch启发的即时运行时包括torch风格的Python API以及熟悉的张量、算子、自动微分体验。但在实现上VibeTensor并不是PyTorch的封装或裁剪版而是实现了自己的一整套系统栈。从宏观层面来看它由如下部分组成——前端Pythonnanobind和 Node.jsN-API都向同一个C运算符注册表分发。核心运行时张量/存储 调度器 自动微分 索引 随机数生成器。 CUDA运行时流/事件包装器、分配器、图、内核启动助手。计算层内置CUDA内核 可选Triton/CuTeDSL内核 插件加载内核。 多GPU实验 Fabric张量和可观测性统计事件环。更关键之处在于它真的能训练模型。针对Blackwell架构SM100/SM103的warp级特化ring all-reduce内核的宏观与微观视图在评估阶段论文并没有止步于单算子正确性或micro-benchmark而是刻意选择了完整训练闭环作为验证手段覆盖了三类具有代表性的工作负载序列反转任务、CIFAR-10 上的Vision Transformer以及一个miniGPT风格的语言模型。这三个任务并非随意挑选。序列反转任务是经典的自动求导与时序依赖sanity check能够快速暴露梯度回传、参数更新或状态复用中的隐藏错误。CIFAR-10上的ViT则引入了更复杂的算子组合验证系统在中等规模模型下的稳定性。而miniGPT风格的语言模型则进一步拉长了训练步数对长时间运行、多步梯度累积、显存管理和数值稳定性提出了更高要求。论文展示的训练曲线表明在这些任务上VibeTensor与PyTorch在整体收敛趋势上是高度一致的loss能够稳定下降accuracy或perplexity持续改善没有出现梯度爆炸、训练发散或「跑几步就崩」的情况。这一点尤其关键因为它意味着系统中的多个核心子系统能够在真实训练循环中正确协同工作。真正颠覆性的意义工程边界被打破英伟达这项研究真正颠覆性的意义不在性能而在「工程边界被打破」。需要强调的是作者非常克制他们反复声明VibeTensor性能明显落后PyTorch也不适合生产环境。但这恰恰让这篇论文更有分量了。因为它要证明的不是「AI能不能写出最优代码」而是——系统软件第一次被证明是「可被AI整体生成」的在过去大家都默认一个隐含前提AI可以写应用代码、脚本、业务逻辑但系统软件、运行时、内存管理、并发控制只能人写。VibeTensor 第一次用一个可运行、可复现的工程告诉你这个边界正在被打穿。另外论文里一个非常重要、但容易被忽略的点是测试不再只是验证工具而是约束 AI 搜索空间的核心机制。在这个项目中测试约等于可执行的设计文档回归测试是对抗「AI 局部正确、全局崩坏」的唯一手段多步训练测试则可以揪出单步算子永远发现不了的bug。这本质上是在说未来系统工程的核心能力可能不是写代码而是「设计好一套让 AI不敢乱来的测试体系」。重要反面教材「弗兰肯斯坦效应」论文最后还非常坦诚地总结了AI写系统的典型失败模式作者称之为弗兰肯斯坦效应。简单说就是每个子模块单独看都很合理拼在一起却会把系统性能彻底拖垮。比如为了安全性AI在autograd引擎里加了一个全局backward锁。从单点看这是对的但结果却是GPU kernel空转、并行性被扼杀、系统整体变慢好几倍。这部分内容其实非常有价值因为它说明了一件事AI非常擅长「局部最优」但极其不擅长全局性能目标。而这正是下一阶段AI系统工程必须正面解决的问题。总之如果用一句话来概括VibeTensor这篇论文的意义那就是这是第一篇用完整可运行系统证明「AI已经可以触碰深度学习系统工程核心腹地」的论文。它不是终点但很可能是一个分水岭。英伟达3万工程师全员All in AI编程最近还有另一个内幕消息曝出英伟达的30000名工程师在引入AI编程助手后代码产出狂翻3倍英伟达很早就在内部尝试各种AI代码生成辅助工具但自从定制版Cursor广泛部署之后效能提升才真正「爆发」。注意Cursor并不是简单补全而是一套可以自动生成新代码、生成单元测试与集成测试、理解大规模代码库深层依赖关系、自动修bug的的「全流程AI编程助手」。据英伟达工程负责人描述Cursor现在在所有产品线、所有开发阶段都在使用。它能自动从 ticket、设计文档获取上下文然后基于规则自动生成包括代码、测试、CI 在内的完整变更。三倍代码量是说AI写了很多垃圾代码吗事实相反英伟达强调代码质量仍由人工负责审核和监督。工程师会留出更多时间给设计决策和复杂逻辑把重复性工作交给AI完成。从英伟达的角度来看这种「让 AI 进入关键路径」的做法其实并不陌生。早在多年前DLSS就已经在超算上运行了。可见英伟达并不是第一次将AI引入高风险、高复杂度的工程系统而是已经积累了长期经验。参考资料https://x.com/mark_k/status/2020794242562486361https://x.com/bingxu_/status/2014354974986408138本文系学术转载如有侵权请联系CVer小助手删文何恺明在MIT授课的课件PPT下载在CVer公众号后台回复何恺明即可下载本课程的所有566页课件PPT赶紧学起来CV垂直方向和论文投稿交流群成立扫描下方二维码或者添加微信号CVer2233即可添加CVer小助手微信便可申请加入CVer-垂直方向和论文投稿微信交流群。另外其他垂直方向已涵盖目标检测、图像分割、目标跟踪、人脸检测识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。 一定要备注研究方向地点学校/公司昵称如Mamba、多模态学习或者论文投稿上海上交卡卡根据格式备注可更快被通过且邀请进群▲扫码或加微信号: CVer2233进交流群 CVer计算机视觉知识星球人数破万如果你想要了解最新最快最好的CV/DL/AI论文、实战项目、行业前沿、从入门到精通学习教程等资料一定要扫描下方二维码加入CVer知识星球最强助力你的科研和工作 ▲扫码加入星球学习▲点击上方卡片关注CVer公众号 整理不易请点赞和在看