一项新研究显示当涉及到代理替代律师、投资银行家、图书管理员、会计师、IT 和其他白领工人的工作时“每个 AI 实验室都在获得不及格的成绩”。而且模型在大多数时候都得到错误答案或根本没有答案。“AI 中最大的未解之谜”不。作为一个在 AI 领域工作了超过 15 年的人我可以用本·怀特的风格解开这个谜题并告诉你为什么你的白领工作 —— 或者任何蓝领工作 —— 可能永远不会处于危险之中。除非你在其中很糟糕。1、新研究给 AI 代理评为不及格Mercor 研究 测试了 AI 模型在执行实际的白领任务方面的表现这些任务来自咨询、投资银行和法律领域。它得出结论“即使是最好的模型也只能正确回答不到四分之一的问题。绝大多数时候模型返回错误的答案或根本没有答案。”现在我知道人类顾问和律师也能产生同样糟糕的结果所以不要对模型太苛刻。但我有几个问题需要与该研究的 portrayal 进行讨论。1.1 Mercor CEO 的错误假设Mercor CEO 暗示 AI 失败的原因是人类在 Slack 和 Google Drive 以及所有这些其他工具上操作而 AI 不擅长这些操作。是的但我甚至不确定这是否有任何区别当相比人类专家大脑中存储了多少知识和上下文时以及运用这些知识和经验行动的能力——这是 AI 无论如何都做不到的。这点从来没有被提到。1.2 Mercor CEO 还错误地原谅 AIMercor CEO 还暗示我认为错误的宽容 AI将 25% 的成功率与实习生的成功率相提而不是期望与经验丰富的专业人士的更高成功率——而 AI 会追上。对我来说这是错误的看待头对头较量的方式。就像制造一个机器人与斯蒂芬·库里一对一打篮球并指出机器人只投中了 10% 的三分球。要知道库里——或者任何领域的任何人类专家——都能建立 greatness。1.3 这些基准测试中的相同问题我对所有这些基准研究都有同样的问题。它们一直将人类专家视为一个无法或不会思考、无法或不愿 improvise 的静态实体——你知道——也许甚至使用 AI 与其竞争以便在其自己上获得比 AI 会独自获得的更好的答案。2、替代知识工作需要人类参与循环几乎六个月前慢到 AI 派对的最后一批企业领导层终于意识到 AI 不是机器人键盘做人类会做的同样事情。代理式 AI 不是白领工人装配线机器的等价物。我们现已理解AI 确实是一个工具。代理只是大量的深度研究支持的 API 调用如果有/那么决策——手和大脑如果你愿意的话——但仅在理论意义上。2.1 AI 需要结构化数据才能运作良好当我们要做的所有事情都是公开的并成为结构化数据时AI 将会运作得很棒。马车离马已经那么远了它们甚至不在同一个镇上了它并不需要一个数据科学家来弄明白这一点。因此是的如果你冻结人类并冻结行业AI 可能在自己的层面上表现得很好。但如果你承认人类运用独创性取得结果并且也承认行业动态在任何行业每天都在演变AI 将继续在其 75% 的错误率上超越自己——除非你有处于循环中的人类。这就是AI 中最大的未解之谜不。一个好消息一旦你这样看待AI 中最大的未解之谜可以轻松解决。2.2 知识工作需要人类参与循环现在既然企业领导层已经过了 AI 的人形键盘形象仍然存在一个巨大问题即很多企业领导层仍然相信知识工作只是人类在平台上按按钮和为季度业务评审和董事会会议制作漂亮的幻灯片。而且在某种意义上我不能责怪他们。在 2020 年代初这些人士大量涌入科技行业称自己为技术专家获得 AI 可以很快在盒子外完成的认证比如分析数据、准备幻灯片和准备季度业务评审。但这并不是知识工作。看我成为一名优秀顾问的原因不是我的几十年科技经验甚至不是我的 AI 经验是我的行业经验——就我的情况而言是在汽车、金融、营销、体育、内容、农业、机械/工业领域并且一直在我的键盘上我的双手实际上一直接触着从汽车到金融到营销到体育到内容到农业到机械/工业领域的一切。在 2026 年真正的知识工作与分析由平台吐出的数据没有任何关系。这是行业专业知识和对劳动成果——技术或其他——的技术理解与经验的平衡在行业的迷宫及其客户、尤其是随着规则、参数和趋势每天都在为该行业变化的基础上取得成功。所以是的如果你冻结人类并冻结行业AI 可能表现得相当好。但如果你承认人类运用独创性取得结果并且也承认行业动态在任何行业每天都在演变AI 将继续在其 75% 的错误率上超越自己——除非你有处于循环中的人类。3、风险投资公司开始承认风险投资公司开始在其下一轮 AI 风险投资中承认专注于中小企业SME的策略。企业领导层开始软化他们对AI 优先指令将经验人才赶出大门。他们终于开始将 AI 视为工具并认识到人类在循环中的逻辑价值。但我会进一步一步。如果你真的想要 AI 在知识工作游戏中产生价值策略需要是AI 在循环中。不要替代知识工作者而是协助他们。一旦你这样看待AI 中最大的未解之谜可以轻松解决。原文链接AI代理替代白领还差得远 - 汇智网