同一批图片、同一条prompt、未裁剪的真实工厂环境——奥地利克拉根福大学团队在双臂机器人纺织回收系统上硬测了9个VLM。结果Qwen包揽前四35b小模型打平235b大模型Llama全线溃败。先看结果223张机器人实拍图9个模型5个家族统一评判标准——排名如下截至目前该项目已经获得了2200 Star和 287 Fork由前 Arcee AI 机器学习研究工程师 Prince Canuma 独立开发维护在 Apple Silicon AI 社区具有极高的影响力。同系列项目 mlx-audio 更是拿下了 6100 Star形成了完整的 Apple Silicon AI 生态矩阵。三个最值得记住的数字87.9%——Qwen家族最高准确率包揽前四名最低的8b版本83.9%仍碾压所有非Qwen模型35b 235b——qwen3.5:35b和qwen3-vl:235b准确率相同但显存需求差6倍24GB vs 143GB76.2%—— RTX 306012GB上实测部署的gemma3:12b准确率同时它是唯一正确识别所有空场景的模型论文信息论文Digital Twin–Driven Textile Classification and Foreign Object Recognition in Automated Sorting Systems作者Serkan Ergun, Tobias Mitterer, Hubert Zangl机构奥地利克拉根福大学 智能系统技术研究所arXiv2603.05230v12026年3月5日资助奥地利研究促进署(FFG) AdapTex项目 欧盟H2020 Arrowhead fPVN项目部署工具Ollama本地运行VLM的开源框架附完整Python代码示例数据论文承诺正式发表后公开所有原始图像和标签下面拆解这些数字背后的细节。VLM在工业场景到底能不能用传统检测模型YOLO、RT-DETR只能识别训练过的类别。遇到没见过的东西要么无视要么乱分类——绝不会告诉你这个我不认识。VLM视觉语言模型不同你用自然语言告诉它桌上有没有衣服是哪类如果不是衣服回答other——它就能处理开放类别。零样本不需要重新训练。听起来很美好但关键问题是哪个模型最好工厂里的消费级显卡跑得动吗克拉根福大学团队在一套真实的纺织回收机器人系统上回答了这些问题。为什么选纺织回收因为欧盟将在2027年底前强制执行纺织品数字产品护照DPP制度旧衣物回收分类是法规驱动的确定性需求。而这个场景对AI来说特别难——衣物是柔性物体、类内差异极大、异物混杂、类别不固定——最后一点正是VLM不可替代的地方。实测条件同一批图片、同一条prompt、未裁剪公平性是横评的生命线。先看测试怎么设计的。测试数据223张图片全部在真实机器人系统中拍摄。机器人从杂乱的篮子里抓取衣物放到检测台上Cam2拍照。图像未裁剪——地面上有干扰物测的是真实环境鲁棒性。类别分布统一prompt论文公开了完整代码response ollama.chat( modelmodel-name, messages[ {role: system, content: You are an intelligent robotic arm.}, {role: user, content: Do you spot a clothing item on the table? If yes: Classify them in the classes: shirt, sock, underwear or trousers. Do you see something else instead? respond with other. Is the table empty? respond with empty. Your response is a single word - either shirt, sock, underwear, trousers, other or empty, images: [fullPathToImages]} ] )判定标准模型回答必须是精确的单词匹配。回答Shirt算对忽略大小写但回答It appears to be a shirt算错。这很严格但反映了工业场景的真实需求——你要的是结构化输出不是聊天。硬件边缘端RTX 306012GB VRAM——工厂级硬件云端NVIDIA H200144GB VRAM——数据中心级五个残酷的发现发现一Qwen全面碾压没有悬念Qwen家族的4个模型包揽前四名最低的qwen3-vl:8b83.9%都比非Qwen最高的gemma3:12b76.2%高出近8个百分点。更值得关注的是异物检测能力。在纺织回收场景中检出不是衣服的东西比分对衣服类别更重要——一个金属异物混进后续流程可能损坏设备。Qwen系列在Other类上的准确率高达90-95%这在安全敏感场景中意义重大。发现二35b小模型 235b大模型准确率相同最反常识的结果qwen3.5:35b 和 qwen3-vl:235b 准确率一样都是87.9%。但它们的硬件需求天差地别这意味着在这个任务上你完全不需要数据中心级GPU。一张高端消费卡就能达到最优准确率。当然35b模型的推理时间更长12.3s vs 2.4s但论文指出这可能是非稳定版Ollama导致的。实际性能待正式版验证。发现三RTX 3060 实测部署的是 Gemma3如果你的硬件预算更紧——比如工厂里只有RTX 306012GB VRAM——论文团队在实际实验中选择部署的是gemma3:12b。它是这次测试中唯一在RTX 3060上完成实时部署实验的模型。表现如何76.2%的准确率不算惊艳但有两个亮点1. 它是唯一正确识别所有空场景的模型——其他模型包括Qwen系列在空场景上都有幻觉问题会看到不存在的东西2. 推理速度快且稳定——0.65s/帧P10到P90的波动很小论文的结论很务实如果你追求准确率用Qwen如果你追求速度和低硬件需求用Gemma3。甚至可以组合使用——先用Gemma3快速筛选对不确定的再调Qwen复核。发现四Llama系列翻车——参数多不等于效果好这次测试中最意外的失败者是 llama3.2-vision:90b。90b参数量结果准确率只有60.1%倒数第二。它的问题不只是准确率低而是有一个很致命的行为特征连续看到同类物品后会产生惯性幻觉。具体来说如果前面连续几张图都是袜子下一张图放一条裤子上去它大概率还会说sock。它似乎会被之前的上下文带偏。在学术评测中这可能只是个统计数字但在工业场景中这是不可接受的——你不能因为前面分拣了一批袜子就把后面的裤子也扔进袜子堆里。Llama416x17b MoE架构表现稍好一些71.3%但依然远低于Qwen系列。发现五指令遵从能力是隐藏的关键指标论文要求所有模型只回答一个单词shirt/sock/trousers/underwear/other/empty。这个要求非常简单但llava:34b 经常做不到——它会返回完整的句子描述比如The image shows a piece of green fabric... industrial machine or equipment.这在学术角度看可能语义上是对的但在工业系统中完全没法用——你的下游逻辑需要一个确定的分类标签来决定机器人动作不是一段自由文本。指令遵从能力instruction following在学术benchmark中很少被重点评估但在工业应用中是一个硬性门槛。如果模型不能稳定输出结构化结果后续自动化流程就无法运行。不只是VLM这套系统的完整技术链VLM横评是最有传播价值的部分但这套系统本身的工程设计也有很多值得学的地方。系统全貌两台UR7e机器人团队给它们起名Alice和BobAlice负责抓取和搬运Bob负责后续分拣。整条链路杂乱篮子 → CNN抓取预测(150ms) → Alice抓取 → 触觉传感验证 → 甩动去夹带 → 拖拽展平 → 放到检测台 → VLM分类(0.4-2.4s) → Alice再抓取 → 交给Bob → Bob放入对应容器全程自动化没有人工介入。数字孪生不是噱头数字孪生在很多项目里是PPT概念。但在这套系统里它解决了一个非常实际的问题碰撞避让。机器人要在检测台上方抓取软趴趴的衣物如果不知道衣物的3D形状和位置手臂可能会撞到衣物或桌面。数字孪生的做法是这不是先在仿真里跑一遍再到真实环境——而是实时同步真实环境变了数字孪生立刻跟着变路径立刻重新规划。触觉传感确认抓没抓到机器人抓柔性物体最头疼的问题之一是你怎么知道它真的抓住了视觉不一定看得出来——衣物颜色可能和背景接近或者手指挡住了视线。团队用了自研的CapTac电容式触觉指尖传感器。原理是通过电容值变化检测法向力和剪切力。抓到东西电容值变化大没抓到或滑落电容值回到基线。这比纯视觉判断可靠得多。论文中提到整个实验过程中没有出现以为抓到了其实没抓到导致检测台空置的情况。甩动拖拽展平物理世界的数据预处理这是我觉得最有意思的设计。从杂乱篮子里抓出来的衣物往往是团在一起的而且可能夹带着其他衣物。直接放到检测台上VLM根本看不清。团队的解决方案纯靠物理操作1.甩动Alice抓着衣物用腕关节甩两下让夹带的衣物靠惯性落回篮子拖拽2.展平把衣物拉过检测台边缘利用重力和桌面摩擦力自然展开这本质上是在物理世界做数据预处理——让VLM看到的输入图像质量更高。而且这招对大件衣物效果不好裤子太大难以完全展平论文也指出单机器人操作导致大件衣物无法理想放置这也解释了为什么大多数模型在裤子上的准确率普遍偏低。对AI从业者的三个信号信号一VLM替代传统CV的拐点正在到来但还没到这次测试的最高准确率是87.9%。作为参考传统YOLO系列在有充足训练数据的固定类别检测任务上准确率通常可以做到95%。如果你的任务是类别固定、训练数据充足的标准检测/分类——传统CV模型仍然是更好的选择。更快、更准、更省资源。但如果你的场景有以下特征之一VLM就值得认真考虑这篇论文最有价值的启示是不是用VLM替代传统CV而是让它们各司其职。论文中CNN负责抓取预测150ms高速高精度VLM负责开放类别分类0.4-2.4s语义能力强。两者协作而非互相替代。信号二边缘部署的显存墙是真实瓶颈边缘部署的显存墙是真实瓶颈工厂里不会给你H200。甚至4090都不一定有。现实中你可能只有一张RTX 3060或4060。在这个约束下你的选择非常有限76%和88%之间有12个百分点的差距而这个差距的代价是显存翻倍。这是边缘部署必须面对的trade-off。一个可能的工程方案用Gemma3做实时初筛快、省对置信度低的样本再调Qwen做二次确认准、慢。论文也提到了这个思路——用多个VLM组合加权取长补短。信号三欧盟DPP法规创造确定性需求2027年欧盟纺织品数字产品护照强制执行旧衣物回收分类是刚需场景。这不是可能有市场而是法规驱动的确定性需求。对于做AI出海、或者服务有欧洲业务的企业来说这是一个值得关注的信号这正好是VLM 边缘部署 机器人的应用场景。写在最后这篇论文真正回答的问题是1. VLM在工业场景能不能用能最高87.9%异物检测90%2. 哪个模型最好Qwen全面领先3. 工厂里的普通显卡能跑吗12GB实测部署了Gemma324GB能跑Qwen3.5:35b4. 什么时候该用VLM而不是传统CV需要识别未知类别/零样本/灵活更改规则时5. VLM最大的坑是什么幻觉、不听指令、大件物体识别差这些答案不只适用于纺织回收而是适用于每一个正在考虑要不要在工业场景中引入VLM的团队。你在项目中用过VLM做分类或检测吗用的哪个模型效果如何欢迎评论区交流。