点击下方卡片关注“CVer”公众号AI/CV重磅干货第一时间送达点击进入—【顶会/顶刊】投稿交流群添加微信号CVer2233小助手拉你进群扫描下方二维码加入CVer学术星球可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料及应用发论文/搞科研/涨薪强烈推荐转载自新智元 编辑艾伦【导读】北京大学陈宝权教授团队提出 FieryGS被 AI 顶会 ICLR 2026 接收。该框架将多模态大模型、燃烧物理仿真与 3D 高斯溅射深度融合首次在真实 3D 重建场景中实现了物理可信、语义感知且可控的火焰合成推动数字孪生从「静态重建」迈向「动态物理」。在通往「空间智能」与「世界模型」的征途上如何让计算机不仅能以高保真度「重建」静态的三维孪生世界更能深刻「理解」并精准「预测」其中的物理动态一直是计算机图形学与人工智能领域的重要研究挑战。近日北京大学智能学院陈宝权教授团队的最新研究成果FieryGS: In-the-Wild Fire Synthesis with Physics-Integrated Gaussian Splatting被人工智能顶会 ICLR 2026 接收。这项工作并非视觉层面的简单合成而是另辟蹊径构建了一套将多模态大模型MLLM的语义理解能力、燃烧动力学物理仿真与 3D 高斯溅射3DGS渲染技术深度耦合的框架首次在真实世界的 3D 重建场景中实现了物理可信、语义感知且高度可控的燃烧合成。论文原文可点击「阅读原文」跳转https://openreview.net/forum?idziKFH7whvy01. 挑战当「静态重建」遇上「动态物理」随着 3D Gaussian Splatting3DGS技术的发展我们已经能够以惊人的速度和照片级的保真度将现实世界数字化。然而现有的 3DGS 重建场景本质上是「冻结」的数字孪生——它们拥有精细的几何与纹理却严重缺失像物理世界那样交互和演化的能力。当我们试图在这些场景中模拟「起火」这样复杂的物理现象时往往面临着不可调和的技术矛盾。一方面传统的图形学流程如基于 CFD 的流体动力学与 VFX 特效软件虽然遵循严谨的物理定律但其应用门槛极高。它们通常要求艺术家对场景进行繁琐的手工网格重建、UV 展开及材质属性标注。面对大规模、非结构化的、不完整的真实世界扫描数据这种「手动工坊」式的工作流显然难以扩展。另一方面以 Sora、Runway 为代表的视频生成模型虽然能凭空创造出视觉效果炫酷的火焰视频但其本质仍是基于像素概率的预测而非对物理过程的模拟。这些模型往往缺乏对三维几何结构和物理守恒规律的本质理解极易产生「物理幻觉」例如火焰在不可燃的金属表面凭空燃烧或者在生成过程中扭曲了原本的场景结构。02. FieryGS语义感知与物理驱动的新范式FieryGS 的研究正是为了打破这一僵局。针对上述挑战FieryGS 提出了一种「语义感知-物理驱动」的全新思路与其让 AI 去「猜测」像素的运动不如让 AI 去「理解」物理属性进而利用准确的物理方程来驱动生成过程。FieryGS 是一套物理集成的 3DGS 框架其核心在于搭建了一座桥梁连接了大模型的常识推理能力与传统图形学的物理仿真能力。系统首先利用多模态大模型MLLM作为「物理常识大脑」对 3DGS 场景进行材质物理属性推断随后结合基于欧拉网格的流体力学求解器驱动火焰与烟雾的演化最后通过统一的体积渲染器输出光影逼真、物理自洽且交互可控的燃烧效果。其完整技术管线如下图所示MLLM 驱动的零样本物理属性推理要实现符合常识的燃烧计算机必须具备类似人类的认知能力「这是什么物体」「它由什么材质构成」「它的燃烧特性如何」。在 FieryGS 中静态的 3DGS 场景不再是无意义的点云集合而是被赋予了丰富的物理语义。本工作设计了一套基于 GPT-4o 的零样本材质推理机制。系统首先利用 3D 分割技术将场景中的高斯基元解耦为独立的物体实例随后通过最佳视角选择算法将物体在该视角下的渲染图输入给大模型。通过精心设计的视觉与文本提示词大模型化身为「物理专家」能够精准推断出场景中物体的材质语义及其对应的热物理参数精准区分桌上的乐高积木是易燃的塑料而马克杯中的勺子是耐火的金属根据材质类别推理出相应的可燃性Burnability、热扩散系数Thermal Diffusivity以及燃烧产生的烟雾颜色如木材产生白烟塑料产生黑烟。这种基于语义的物理属性初始化告别了传统方法中昂贵耗时的人工标注实现了自动化的场景物理感知其标注准确性在多个真实复杂场景中得到验证详见论文为后续的仿真打下坚实基础。高效体积燃烧仿真在获取了精确的材质属性后FieryGS 引入了一个高效的欧拉网格流体求解器将燃烧过程建模为严谨的流体动力学与热力学方程。不同于视频生成模型的像素预测FieryGS 中火焰的升腾、烟雾的扩散都以纳维-斯托克斯方程Navier-Stokes Equations等物理学规律为基础受到浮力、风力、涡流以及障碍物边界条件的共同作用。FieryGS 还引入了精细的炭化Charring模型。燃烧不仅仅是覆盖一层火焰特效而是伴随着物质状态的改变温度的扩散的复杂有机整体。FieryGS 模拟了热量在物体内部的传导过程当温度超过燃点系统会计算炭化程度并实时更新高斯点的外观属性使其表面逐渐变黑。这种从微观热力学出发的建模使得燃烧的视觉效果不再是简单的图层叠加而是由温度场驱动的真实材质演变不仅呈现出令人信服的物理细节更可服务于灾害预测等重要实际需求。统一体积燃烧渲染如何将网格化的燃烧仿真数据与离散化的3D高斯点云融合是渲染层面的巨大挑战。本工作为此提出了一套统一的体积渲染器Unified Volumetric Renderer。这一渲染器打破了传统渲染管线的边界实现了多物理场的光影耦合基于黑体辐射定律根据仿真得到的温度场计算火焰的物理自发光颜色根据材质推理结果渲染不同颜色的烟雾通过引入 Phong 光照模型使火焰不再是孤立的发光体而是成为了场景中真实的光源。当火焰在木凳上燃起时观察者不仅能看到火光本身还能看到火光在地面上投下的摇曳倒影以及周围物体因被照亮而产生的明暗变化。这种光影解耦与再渲染极大地提升了合成画面的沉浸感。03. 实验结果逼真视效精准可控得益于生成式 AI 与图形学物理防战的融合FieryGS 在多个真实世界场景如室内房间、公园、花园等的测试中展现出了超越现有基线方法的卓越性能。与视频生成模型相比FieryGS 不仅严格保持了背景几何结构的稳定性更展现了从点火、蔓延到熄灭的完整物理过程兼具物理真实与视觉美观。此外可控性是 FieryGS 的另一大核心优势。不同于「抽卡式」的视频生成FieryGS 允许用户以参数化的方式精确控制仿真过程。用户可以灵活地指定起火点调整风向风力以改变火焰蔓延方向改变燃烧强度以及燃料的物理性质等等而系统总能生成符合物理逻辑的动态反馈。04. 从雨到火迈向可计算的动态孪生FieryGS 并非一次孤立的技术尝试。在此之前北京大学陈宝权教授团队已在 CVPR 2025 提出 RainyGS率先探索了在真实世界 3D 重建场景中引入物理一致、参数可控的降雨积水等动态的能力。RainyGS 以高斯表面表达为核心将降雨、积水、涟漪等复杂流体现象直接绑定于高斯的几何描述之上实现了从「静态重建」到「动态物理」的关键跨越是 Real2Sim2Real 路径上的重要一步项目主页https://pku-vcl-geometry.github.io/RainyGS/。在 RainyGS 中团队验证了一种具有普适性的范式以紧致、统一的 3DGS 表达作为桥梁避免在仿真与渲染之间反复切换数据结构从而同时保证物理真实性、几何一致性与高效性。这一思路为真实场景中的动态孪生奠定了坚实基础。FieryGS 正是在这一体系上的自然演进与系统扩展。如果说 RainyGS 解决的是「真实场景中如何添加流体动态」那么 FieryGS 则进一步引入了真实场景的语义理解以及与真实场景深度耦合的相互物理作用从而实现复杂的燃烧这一具有物理因果链条的高阶动态现象。通过融合多模态大模型的常识推理能力与严谨的燃烧仿真FieryGS 让数字孪生世界首次具备了理解材质、推断属性、并据此演化物理过程的能力。从雨水的下落、汇聚与反射到火焰的点燃、蔓延与熄灭这一系列工作所共同指向的并非单一视觉效果的提升而是一条清晰的技术主线让数字孪生世界不再只是「看起来真实」而是真正遵循物理、可预测、可干预、可用于智能决策。随着这一以 3DGS 为核心、融合物理建模与语义推理的动态孪生体系不断演进其应用边界将持续拓展至自动驾驶仿真、具身智能训练、灾害推演以及复杂空间智能系统之中。RainyGS 与 FieryGS 的连续提出正在逐步勾勒出一个更具「物理灵魂」的世界模型雏形。参考资料https://openreview.net/forum?idziKFH7whvy本文系学术转载如有侵权请联系CVer小助手删文何恺明在MIT授课的课件PPT下载在CVer公众号后台回复何恺明即可下载本课程的所有566页课件PPT赶紧学起来CV垂直方向和论文投稿交流群成立扫描下方二维码或者添加微信号CVer2233即可添加CVer小助手微信便可申请加入CVer-垂直方向和论文投稿微信交流群。另外其他垂直方向已涵盖目标检测、图像分割、目标跟踪、人脸检测识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。 一定要备注研究方向地点学校/公司昵称如Mamba、多模态学习或者论文投稿上海上交卡卡根据格式备注可更快被通过且邀请进群▲扫码或加微信号: CVer2233进交流群 CVer计算机视觉知识星球人数破万如果你想要了解最新最快最好的CV/DL/AI论文、实战项目、行业前沿、从入门到精通学习教程等资料一定要扫描下方二维码加入CVer知识星球最强助力你的科研和工作 ▲扫码加入星球学习▲点击上方卡片关注CVer公众号 整理不易请点赞和在看