来源新智元 本文约3000字建议阅读5分钟GEM框架利用认知科学原理从少量人类偏好中提取多维认知评估让AI在极少标注下精准理解人类思维提高了数据效率在医疗等专业领域表现优异为AI与人类偏好对齐提供新思路。在人工智能与人类价值观对齐的宏大命题中数据效率始终是横亘于理论与实践之间的鸿沟传统大语言模型偏好对齐范式依赖海量人工标注这在医疗、法律等专业领域近乎奢望。为了在小样本条件下最大化每条人类偏好的信息利用南洋理工大学的研究人员提出一种认知启发的解决方案「人类偏好不仅反映最终选择更折射出其背后的多维认知评估过程」。论文链接https://arxiv.org/abs/2511.13007代码开源https://github.com/SNOWTEAM2023/GEM基于这样的认知理论基础他们将Nature最新研究揭示的神经决策中熵的双相性引入偏好对齐模型用于对多维认知评估的精准提取提出了用于在少量偏好样本下精准实现大语言模型对齐的GEM框架。从更宏观的维度思考GEM的本质思路可以更广泛地应用于所有依赖少量人工标注的深度学习算法之中而「GEM」的命名恰好与在极端自然条件下形成的宝石相呼应即将极稀少的偏好数据提炼为高价值的认知对齐指导以实现大型语言模型的协调统一研究成果已被AAAI 2026 AI Alignment Track录取为Oral论文。GEM研究方法图1: GEM框架的整体Pipeline如图1所示GEM主要是由两个核心模块形成的一个基于熵的闭环认知优化框架。对于每个人类偏好数据对「认知过滤模块」中的反思推理引擎 会生成多条详尽的推理链CoTs以扩大人类偏好数据的认知深度和广度。然后这些多维度细粒度偏好数据推理链会用一个二元熵指导的打分机制进行打分用以提取高质量的推理链。最后经过筛选的推理链会由「SEGA」模块基于群体认知的优势整合原理将熵评分转化为隐式奖励并通过认知反馈回路进行加权策略更新形成一个无需外部奖励模型的迭代认知反馈闭环。认知过滤模块首先为了在少量的偏好对中挖掘出尽可能多维度细粒度的「认知信号」研究人员提出了「熵引导的认知过滤机制Cognitive Filtering。在信息处理的微观层面 Nature最新研究揭示的神经决策中熵的双相性引入偏好对齐模型即判断决策关键决策节点呈现高熵特征探索不确定性而结论形成阶段则趋向低熵认知收敛。研究人员将这一这一理论引入偏好对齐模型面对一组偏好数据模型通过链式思考CoT采样生成 条差异化推理路径reasoning chains。研究人员设计的双阶段熵评分函数精准捕捉了高质量认知的特征其中首项奖励确定性结论低熵终态次项鼓励关键推理节点的探索性思考高熵分叉点。这种评分不是简单启发式而是对认知科学中发散-收敛双过程理论的数学具象化。SEGA模块然后研究人员将筛选后的多维度细粒度偏好数据输入SEGASelf-Evaluated Group Advantage模块该模块将熵评分转化为隐式奖励 并基于「群体认知的优势整合原理」计算每个成员相对于群体均值的优势值。不同于传统成对比较SEGA将每组 个选视为认知群体计算每个成员相对于群体均值的优势值值。这一设计源于三个深刻洞见1群体内相对评估比绝对评分更稳定解决小样本下的奖励过优化问题2优势函数的零均值特性确保梯度更新的方差最小化符合强化学习理论中的最优基线准则3多路比较保留了认知过程的连续性避免成对方法的信息损失。值得注意的是SEGA不仅是工程技巧而是对Bradley-Terry偏好模型的群论扩展具有严格的收敛性证明。因此整个GEM形成一个Entropy-Guide的「认知过滤-群体认知优势整合-认知反馈」闭环优化架构。在这个循环中熵既是评估标准指导筛选也是梯度方向的调控信号用于在策略更新中压制噪声性探索从而实现信息论对偏好学习过程的约束。GEM实验结果数据集为了系统地评估 GEM 在偏好建模与下游任务中的有效性研究人员使用了两个具有代表性的数据设置一个是通用偏好基准general preference benchmarks研究人员从公开数据集中选取了3,000条高质量偏好对包括 UltraFeedback、PKU-SafeRLHF、RewardBench 中无重叠的采样覆盖了helpfulness、safety、factuality、reasoning以及对齐偏好等多维度标准。另一个是医学偏好数据集包含3,500个专业医学QA对覆盖慢性病管理、药物咨询以及临床决策等主题由资深医生标注真实偏好重点考察GEM在专业场景下的对齐能力、稳健性与可解释性。定量性能表1给出了GEM在三个通用偏好基准上的表现。实验结果显示与传统奖励模型 PPO 的 RLHF 模式相比GEM 在仅使用约十分之一训练数据的情况下即可超越其性能。表1通用偏好基准上的定量性能比较此外在医学偏好验证集上表 2GEM达到78.2%的专家一致性expert agreement显著高于传统监督65.3%和DPO70.1%说明 GEM 能有效捕获专业医学中的细粒度偏好特征。表2医学专家偏好一致性下游能力评估除了偏好建模本身研究人员进一步在多个下游任务上验证 GEM 生成的认知信号是否具有实际作用包括数学推理GSM8K、MATH、事实性评估TruthfulQA以及开放式对话能力MT-Bench。实验结果显示了GEM 在这些任务上的显著优势。表3下游任务表现总结与讨论整体来看GEM在极少偏好监督下仍能借助熵引导的认知过滤和SEGA从少量偏好中提炼高价值的多维度细粒度的认知信号进行稳定、有效的对齐并普遍提升推理质量、减少幻觉并增强大语言模型的稳健性。从更宏观的维度思考GEM的本质思路有潜力更广泛地应用于所有依赖少量人工标注的深度学习算法之中。传统监督学习将人类标注视为「单点决策」只记录最终答案而GEM将标注重新解释为「多维认知评估的投影」——即每一个标签实际上隐含着人类在判断过程中经历的多维度、多阶段的推理、权衡与不确定性处理。通过熵的双相性原理GEM提供了一种将这种隐藏的认知结构从极少量标签中提取出来的通用范式。因此无论是分类、序列标注、推荐系统、图神经网络任务、医学影像诊断、知识图谱补全乃至更复杂的规划、强化学习策略优化、可解释AI都可以将GEM的「认知过滤—优势整合」机制作为外层结构嵌套进去让模型在极少标注条件下主动生成、评估并提炼潜在的认知信号从而实现对有限标注信息的放大。换言之GEM有潜力成为一种普适的、跨任务的低资源认知增强框架将「标签」从静态信息转化为动态认知轨迹将「学习」从模仿答案转化为提取人类思维结构。作者信息论文的第一作者是赵依洋, 他在新加坡南洋理工大学计算与数据科学学院攻读硕士研究生期间完成这项工作目前在复旦大学攻读博士学位。第二作者是南洋理工大学计算与数据科学学院的硕士研究生白惠予。该研究的通讯作者赵雪娇博士在百合卓越联合研究中心LILY Research Centre担任瓦伦堡–南洋理工大学校长博士后研究员期间完成这项工作目前她任职于阿里巴巴—南大全球数码可持续发展联合实验室Alibaba-NTU Global e-Sustainability CorpLab, ANGEL担任研究科学家。参考资料https://arxiv.org/abs/2511.13007编辑文婧关于我们数据派THU作为数据科学类公众号背靠清华大学大数据研究中心分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识努力建设数据人才聚集平台、打造中国大数据最强集团军。新浪微博数据派THU微信视频号数据派THU今日头条数据派THU