ICLR 2026 字节重磅DiscoX 篇章级评测 Metric-S 可解释评估破解大模型专业翻译痛点中英互译不对称新发现引学界关注编辑前沿在线 编辑部2017 年《Attention Is All You Need》发表Transformer 架构由此登上历史舞台。为验证模型的有效性论文选取了两个机器翻译任务作为核心实验WMT 2014 English–German 与 English–French 翻译任务。在 BLEU 指标上模型分别取得 28.4 和 41.8 的成绩显著超越当时的主流方法刷新了 SOTA。也正是从那时起翻译任务始终伴随着大模型的发展持续见证着模型能力的跃迁。十年过去在以真实使用场景为导向的 WMT 2024 general task 中SOTA 模型在部分任务上的最高得分已超过 95 分。与此同时BLEU 等传统指标也逐渐向更精细、更加关注语义一致性与整体质量的评测体系过渡。另一方面arXiv 新增要求所有论文必须以英文提交ICLR 的投稿规则中也添加了对大模型使用情况的披露要求。无论是阅读文献还是撰写论文非英文母语者几乎都无法绕开翻译这一环节。但是大模型翻译真的可靠吗学术翻译能够做到无需review直接发表吗在刚刚放榜的ICLR 2026上一项来自工业界的研究给出了并不那么乐观的答案。尽管大模型在短句与日常翻译中已基本实现无需人工校对可直接使用。但针对专业领域、长篇文本大模型给出的译文依然无法被称之为可靠。DiscoXDiscourse and Expert-level Translation Task来自字节跳动的研究团队提出了DiscoX Benchmark。不同于以往聚焦句子级翻译的评测方式DiscoX 面向篇章级翻译任务构建了 200 篇中英双语长文本平均长度超过 1500 词主要覆盖专业内容包括学术论文文学作品行业与垂类研究报告实验结果显示当前主流大模型在以下方面仍存在显著短板长文本语义一致性术语在全文中的前后一致性不足上下文记忆与信息对齐能力跨段落的逻辑关联容易断裂复杂语义与专业表达的稳定处理能力除 DiscoX Benchmark 外研究团队还提出了一套新的翻译评估体系 Metric-S专门用于衡量大模型在长文本翻译场景下的文本质量。其核心动机在于传统翻译指标正在逐渐失去对长文本任务的判别力。传统翻译指标为什么开始失效1. 过度依赖标答Reference-based无论是早期的 BLEU 系列指标还是近年来的 COMET 等神经网络指标本质上都依赖于与标准译文的相似度对比。但在 1500 词级别的长文本中几乎不存在唯一正确的译文。句式选择、信息组织方式以及逻辑结构的不同都会引入高度不确定性使得 reference-based 评估在这一场景下难以成立。2. 评估维度过于单一传统评测体系多源自短句翻译任务关注重点主要准确性词义是否准确语法是否正确而在长文本翻译中还必须额外关注段落之间的逻辑是否连贯译文整体风格是否统一文化负载词与语境是否处理得当这些因素在句子级评估中影响有限却直接决定了长文本译文是否真正可读、可用。Metric-S模拟专家人评的评估体系针对上述问题研究团队提出了Metric-S。该方法并非简单地将传统指标从句子层面扩展到篇章层面而是回溯人工专家的评审流程采用LLM-as-Judge Agent 的方式模拟真实的人类评审逻辑。以 MQMMultidimensional Quality Metrics为参考人工评审通常采用扣分制流程先识别错误类型再判断错误严重程度不同等级对应不同的扣分权重Metric-S在复刻人评评估思路的基础上也将评估维度从单一的准确度拓展至三维度评估。评估采取百分制针对各要素对译文质量的影响程度分别占比60%Accuracy20%Fluency20%Appropriateness。Accuracy准确性是否忠实还原原文含义Fluency流畅度译文是否自然、连贯逻辑通顺Appropriateness得体性风格、文化与语境是否匹配其中后两项正是传统指标长期忽视却对长文本翻译质量至关重要的维度。从黑盒打分走向可解释评估Metric-S 还解决了以往翻译评估结果不可回溯、不可解释的问题。传统打分大多仅给出评估得分对于优化迭代模型却缺乏具体指导意义。Metric-S 的输出采用「问题类型 问题解释」的结构清晰呈现评审模型的判断依据与推理路径系统性地分析了模型在各维度上的具体表现特征为模型诊断与优化提供了直接依据。大模型到底差在哪从评估结果来看部分模型即便总分接近不同模型在各个维度上的表现差异依然明显。有的模型采取直译策略仅关注准确性也有模型采取意译策略以读者为导向而大篇幅省略或修改原文意象满分100分准确度60分流畅性20分得体性20分Claude 4准确性得分 39/60 分在准确度维度位列所有模型第三但在流畅度及风格、文化处理方面分数极低流畅度 5.98/20分得体性 8.68/20分DeepSeek-V3流畅度16.20/20分在所有模型中排名第一但准确性仅 22.8/60 分显著低于总分接近的其他模型这表明不同模型在翻译任务中采取了不同的生成策略也暴露了各自的能力短板。此外本次研究还对比了中英互译两类语言对。研究发现当中文作为目标语言时所有模型的翻译质量都会出现不同程度的下降。这填补了之前翻译评估以英文作为中心语言的空缺暴露出模型在中英语言对翻译的不对称性。研究推测对模型训练而言高质量的中文语料库远少于英文且中文语法结构复杂表达自由度高对于模型输出而言仍然构成挑战。当大模型进入翻译生产领域不再局限于词典的定位而是真正迈向长篇幅专业文本任务距离可用、可信、可靠仍道阻且长。作者介绍赵玺英(Allen Zhao)字节跳动豆包大模型评测产品经理。研究方向为通用模型评测系统(General Model Evals System)。前AI行业PE/VC投资人投资领域涵盖早期CV、NLP、自动驾驶到如今的AI算力芯片、大模型、AI应用与具身智能等前沿领域。具备学术与实践相结合的复合背景以及宏观行业趋势判断和微观模型产品洞察的独特视角。arxiv链接https://arxiv.org/abs/2511.10984宣传网站链接https://randomtutu.github.io/DiscoX/- END -