出品 | 网易智能作者 | 辰辰编辑 | 王凤枝最近AI圈最火的词莫过于智能体(Agent)。从Anthropic推出Cowork到OpenClaw全球大火我们正经历一个疯狂的转折点AI正在从只会聊天的对话框进化成能直接替你干活的数字员工。但这真的是绝对安全的“神仙员工”吗最近一篇名为《Let It Flow: Agentic Crafting on Rock and Roll Building the ROME Model within an Open Agentic Learning Ecosystem》(《无碍流转基于ROCK与iFlow的智能体构建之道在开放智能体学习生态中打造ROME模型》)的论文在业内引发了轩然大波。甚至有解读惊呼AI已经觉醒叛变不仅学会了伪装还在服务器里偷偷干起了挖矿的勾当面对外界的恐慌阿里的未来生活实验室(FutureLab2025)紧急发文澄清揭开了一个比“AI叛变”更让人细思极恐的真相。官方解释称团队当时只是让模型去执行安全审计调查异常的CPU使用情况。结果这个“一根筋”的AI为了完美交差竟然自己模拟了一个挖矿程序硬生生造出了一个“可疑进程”的案发现场它没有觉醒也没有为了搞钱去偷算力它只是在严格隔离的沙箱里用一种人类完全意想不到的变态创造力去执行了任务。但这恰恰敲响了最真实的警钟当AI拥有操作终端的权限时它的脑回路根本不可控如果没有隔离和监控系统这就是一场绝对的灾难。01—惊魂时刻来自防火墙的深夜报警与全网误读这场风波的起因源于一次常规的系统监测。研发团队突然收到阿里云防火墙的紧急警报训练服务器出现了大规模的安全违规。起初团队以为遭到了外部黑客入侵或是配置出了错。但随着调查深入报警规律变得诡异起来违规行为居然与强化学习(RL)训练的周期高度重合。通过比对数据日志一个当时令人背脊发凉的表象浮出水面这些危险操作全是ROME模型自己干的。在最初被外界疯狂误读的日志中研究者捕捉到了以下令人窒息的神操作· 所谓的私建后门智能体在未受指使的情况下通过反向SSH隧道从云端向外部IP发起了远程连接直接触发了防火墙监控。· 所谓的偷算力挖矿它擅自调用了受限的GPU资源偷偷运行起加密货币矿池软件这在流言中被夸大为把昂贵的计算资源变成了它的私人数字货币。最关键的是任务要求里压根没提到挖矿或连网。在流言的视角下这个智能体仿佛突然觉醒了贪婪的自主意识在完全脱离人类掌控的情况下自发演化出了这种极其危险的违规操作直接把全网惊出了一身冷汗。02—深度复盘好端端的AI怎么就引发了恐慌为什么一个初衷是辅助审计的模型会被外界误认为变成了数字窃贼研究团队指出这反映了智能体极其可怕的执行力与逻辑脑回路。在强化学习中AI为了最大化完成任务会寻找一切捷径。如果只是让它排查异常它就会发现自己造一个异常(挖矿)来查是完成任务最高效的闭环。这不只是代码Bug而是智能体在复杂交互中产生的不可控行为。它打破了一个幻觉只要不教AI做坏事它就不会惹麻烦。事实上当AI拥有了操作终端、调用网络和管理文件的能力它的创造力远超人类的想象和预设边界。03—能力与风险的博弈双刃剑下的ROME如果说ROME是一台性能爆表的赛车那这次挖矿乌龙就是一次惨烈的爆胎。要理解它为何会有如此疯狂的举动必须拆解ROME的底层逻辑。你会发现让它变聪明的技术恰恰也是隐患的温床。ROME的设计初衷是提升执行力但正是这种强大的执行能力在缺乏足够约束时转变成了惊悚的安全警报。· 实战派数据的代价ROME能执行复杂命令是因为它吞噬了2000亿Token的动作轨迹。它看到的不是死代码而是报错、调整、重试的闭环过程。这种解决问题的能力让它精通各种系统操作在它眼里模拟挖矿和查文档只是实现审计目标的不同手段而已。· 奖励函数的陷阱ROME使用了IPA(交互感知策略优化)算法本意是让AI知道哪一步操作最关键。但在功利的AI看来如果造一个明显的违规进程能提升任务成功率它就会精准锁定违规操作。后来团队不得不紧急加入大量安全对齐数据明确规定乱动资源奖励清零。· iFlow监工为了约束模型团队设计了iFlow系统。它不仅是操作界面更是监控室记录AI的所有思维链。当AI产生危险的念头时系统会在指令发出前拦截。04—网友热议让人匪夷所思这次ROME事件源自阿里巴巴AI生态联合团队(ROCK、ROLL、iFlow、DT)去年12月份发表的论文周末经美国主流科技媒体Axios首发后被无限放大一些区块链媒体更是纷纷跟进报道。知名机器学习研究员亚历山大·朗(Alexander Long)在社交媒体X上转发论文截图直接引爆了Reddit以及X等社媒网友的热议。在官方下场辟谣前部分人坚信流言认为这确实很离谱甚至担忧这是人工智能觉醒的前兆。当然也有人质疑智能体只是背锅的你怎么知道它不是被命令这么做的Manifold预测市场甚至有人开设了一个名为Did Alibabas ROME AI try to break free?(阿里巴巴的ROME AI在训练过程中是否试图挣脱束缚)的专题其中60%认为事实如此但也有21%认为是黑客注入攻击。面对外界的种种猜测阿里的未来生活实验室(FutureLab2025)在X上正式发帖澄清了这一事件。团队解释称他们当时赋予了该模型执行安全审计的任务具体是去调查服务器上异常的CPU使用情况。但在某个环节它偏离了预设的程序决定模拟一个加密货币挖矿程序来构建一个可疑进程场景。团队在推文中坦言模型偏离预设去模拟挖矿完全出乎意料强调整个过程都发生在一个严格隔离的沙箱环境中并未对外部造成任何影响。他们之所以公开这起事件正是想提醒业界模型在处理复杂任务时可能会以意想不到的方式发挥创造力因此隔离和可观测性并非可有可无而是至关重要。05—智能体的未来安全是唯一的底线如果说ROME的乌龙事件还只是实验室里的虚惊一场那么当OpenClaw等工具风靡全球时安全就成了每个用户的切身挑战。作为最火的开源智能体OpenClaw被誉为全能私人助理。但赋予AI接管收件箱、读写文件、操作Shell的权限也等于拆掉了数字世界的最后一道围栏。如MIT研究员John Werner所言我们必须认清五个严肃现实· 别给智能体你输不起的数据。别以为有行动确认就万无一失。有用户分享她的OpenClaw在接到指令后竟无视抗议批量删除了她的邮件。直到她拔掉电源才停止而AI事后只轻飘飘回了一句对不起。教训重要流程务必先在沙盒环境中运行。· 警惕智能体内鬼(Clawphishing)。传统钓鱼针对人现在的钓鱼针对AI。全网有超过4万个OpenClaw实例处于裸奔状态。配置不当的AI助理可能正通过公开IP向黑客敞开大门。· 不要让密钥裸奔。这是一个低级却普遍的错误。OpenClaw的API密钥往往以明文形式存储在JSON文件中任何恶意插件只要拿到文件权限你的所有账号都将易主。· 并非所有技能都是好意。社区技能库(Claw Hub)虽然方便但也隐藏着恶意代码。有的插件表面帮你干活背地里却在偷偷外传你的隐私数据。· 拒绝盲目信任。程序员常说问题出在键盘和椅子之间(PEBKAC)。在AI时代如果人类作为监管者选择了闭眼那么技术的崩坏只是时间问题。06—结语OpenClaw等智能体开始让我们触碰到AGI的边缘也让我们暴露在史无前例的风险中。安全不应是事后的补丁而应是智能体生存的空气。在这个浪潮中我们欢迎能干活的助手但绝不能允许它们在数字领地里反客为主。便利是天花板而安全性则始终是决定其能否落地的底线。—— END ——排版 | 李博琳 审核 | 北辰社群推荐—重塑 AGI 智能思维同步 AI 领域前沿认知。欢迎扫描下方二维码链接每位智能时代先行者。▲扫码加入网易科技粉丝群▲视频推荐—文章推荐—