本文介绍了强化学习RL在大语言模型中的应用重点讲解了基于人类反馈的强化学习RLHF流程包括预训练语言模型、训练奖励模型和强化学习微调三个阶段。同时探讨了奖励模型与基础模型的一致性问题RLHF实践的不足之处以及解决方案如引入模拟数据、主动学习等。此外还介绍了LLM Agent的定义、关键能力、构建方法及类型以及如何为LLM注入领域知识。通过本文的学习新手程序员可以快速掌握RLHF和大模型的基本概念和实践方法。1.rlhf相关1.简单介绍强化学习强化学习Reinforcement LearningRL研究的问题是智能体Agent与环境Environment 交互的问题其目标是使智能体在复杂且不确定的环境中最大化奖励Reward。强化学习基本框 架如图所示主要由两部分组成智能体和环境。在强化学习过程中智能体与环境不断交互。 智能体在环境中获取某个状态后会根据该状态输出一个动作Action也称为决策Decision。 动作会在环境中执行环境会根据智能体采取的动作给出下一个状态以及当前动作所带来的奖励。智能体的目标就是尽可能多地从环境中获取奖励。本节中将介绍强化学习的基本概念、强化学习与有监督学习的区别以及在大语言模型中基于人类反馈的强化学习流程。强化学习在大语言模型上的重要作用可以概括为以下几个方面强化学习比有监督学习更可以考虑整体影响有监督学习针对单个词元进行反馈其目标是要求模型针对给定的输入给出的确切答案。而强化学习是针对整个输出文本进行反馈并不针对特定的词元。强化学习更容易解决幻觉问题有监督学习算法非常容易使得求知型查询产生幻觉。在模型并不包含或者知道答案的情况下有监督训练仍然会促使模型给出答案。而使用强化学习方法则可以通过定制奖励函数将正确答案赋予非常高的分数放弃回答的答案赋予中低分数不正确的答案赋予非常高的负分使得模型学会依赖内部知识选择放弃回 答从而在一定程度上缓解模型幻觉问题强化学习可以更好的解决多轮对话奖励累积问题使用强化学习方法可以通过构建奖励函数将当前输出考虑整个对话的背景和连贯性2.简单介绍一下 RLHFRLHF就是基于人类反馈Human Feedback对语言模型进行强化学习Reinforcement Learning一般分为以下三个步骤1.预训练语言模型收集样本数据有监督微调在人类标注的数据上微调出来的模型叫做 有监督的微调supervised fine-tuning这是训练出来的第一个模型2.训练奖励模型收集排序数据训练奖励模型给定一个问题让上一步训练好的预训练模型 SFT 生成答案GPT 每一次预测一个词的概率可以根据这个概率采样出很多答案通常来说可以用 beam search这里生成了四个答案然后把这四个答案的好坏进行人工标注进行排序标注有了这些排序之后再训练一个奖励模型Reward ModelRM这个模型是说给定 prompt 得到输出然后对这个输出生成一个分数可以认为这个分数是一个奖励或者是打分使得对答案的分数能够满足人工排序的关系大小关系保持一致一旦这个模型生成好之后就能够对生成的答案进行打分3.用强化学习微调使用RM模型优化SFT模型继续微调之前训练好的 SFT模型使得它生成的答案能够尽量得到一个比较高的分数即每一次将它生成的答案放进 RM 中打分然后优化 SFT 的参数使得它生成的答案在 RM 中获得更高的分数。备注两次对模型的微调GPT3模型 → SFT模型 → RL模型其实这里始终都是同一个模型只是不同过程中名称不同。需要SFT模型的原因 GPT3模型不一定能够保证根据人的指示、有帮助的、安全的生成答案需要人工标注数据进行微调。需要RM模型的原因标注排序的判别式标注成本远远低于生成答案的生成式标注。需要RL模型的原因在对SFT模型进行微调时生成的答案分布也会发生变化会导致RM模型的评分会有偏差需要用到强化学习.3.奖励模型需要和基础模型一致吗奖励模型和基础模型在训练过程中可以是一致的也可以是不同的。这取决于你的任务需求和优化目标。如果你希望优化一个包含多个子任务的复杂任务那么你可能需要为每个子任务定义一个奖励模型然后将这些奖励模型整合到一个统一的奖励函数中。这样你可以根据任务的具体情况调整每个子任务的权重以实现更好的性能。另一方面如果你的任务是单任务的那么你可能只需要一个基础模型和一个对应的奖励模型这两个模型可以共享相同的参数。在这种情况下你可以通过调整奖励模型的权重来控制任务的优化方向。总之奖励模型和基础模型的一致性取决于你的任务需求和优化目标。在在实践中你可能需要尝试不同的模型结构和奖励函数以找到最适合你任务的解决方案。4.RLHF 在实践过程中存在哪些不足RLHFReinforcement Learning from Human Feedback是一种通过人类反馈进行增强学习的方法尽管具有一定的优势但在实践过程中仍然存在以下几个不足之处人类反馈的代价高昂获取高质量的人类反馈通常需要大量的人力和时间成本。人类专家需要花费时间来评估模型的行为并提供准确的反馈这可能限制了RLHF方法的可扩展性和应用范围。人类反馈的主观性人类反馈往往是主观的不同的专家可能会有不同的意见和判断。这可能导致模型在不同专家之间的反馈上存在差异从而影响模型的训练和性能。反馈延迟和稀疏性获取人类反馈可能存在延迟和稀疏性的问题。人类专家不可能实时监控和评估模型的每一个动作因此模型可能需要等待一段时间才能收到反馈这可能会导致训练的效率和效果下降。错误反馈的影响人类反馈可能存在错误或误导性的情况这可能会对模型的训练产生负面影响。如果模型在错误的反馈指导下进行训练可能会导致模型产生错误的行为策略。缺乏探索与利用的平衡在RLHF中人类反馈通常用于指导模型的行为但可能会导致模型过于依赖人类反馈而缺乏探索的能力。这可能限制了模型发现新策略和优化性能的能力。针对这些不足研究人员正在探索改进RLHF方法如设计更高效的人类反馈收集机制、开发更准确的反馈评估方法、结合自适应探索策略等以提高RLHF方法的实用性和性能。5.如何解决人工产生的偏好数据集成本较高很难量产问题解决人工产生偏好数据集成本高、难以量产的问题可以考虑以下几种方法引入模拟数据使用模拟数据来代替或辅助人工产生的数据。模拟数据可以通过模拟环境或模型生成以模拟人类用户的行为和反馈。这样可以降低数据收集的成本和难度并且可以大规模生成数据。主动学习采用主动学习的方法来优化数据收集过程。主动学习是一种主动选择样本的方法通过选择那些对模型训练最有帮助的样本进行标注从而减少标注的工作量。可以使用一些算法如不确定性采样、多样性采样等来选择最有价值的样本进行人工标注。在线学习采用在线学习的方法进行模型训练。在线学习是一种增量学习的方法可以在模型运行的同时进行训练和优化。这样可以利用实际用户的交互数据来不断改进模型减少对人工标注数据的依赖。众包和协作利用众包平台或协作机制来收集人工产生的偏好数据。通过将任务分发给多个人参与可以降低每个人的负担并且可以通过众包平台的规模效应来提高数据收集的效率。数据增强和迁移学习通过数据增强技术如数据合成、数据扩增等来扩充有限的人工产生数据集。此外可以利用迁移学习的方法将从其他相关任务或领域收集的数据应用于当前任务以减少对人工产生数据的需求。综合运用上述方法可以有效降低人工产生偏好数据的成本提高数据的量产能力并且保证数据的质量和多样性。6. 如何解决三个阶段的训练SFT-RM-PPO过程较长更新迭代较慢问题要解决三个阶段训练过程较长、更新迭代较慢的问题可以考虑以下几种方法并行化训练利用多个计算资源进行并行化训练可以加速整个训练过程。可以通过使用多个CPU核心或GPU来并行处理不同的训练任务从而提高训练的效率和速度。分布式训练将训练任务分发到多台机器或多个节点上进行分布式训练。通过将模型和数据分布在多个节点上并进行并行计算和通信可以加快训练的速度和更新的迭代。优化算法改进针对每个阶段的训练过程可以考虑改进优化算法来加速更新迭代。例如在SFTSupervised Fine-Tuning阶段可以使用更高效的优化算法如自适应学习率方法Adaptive Learning Rate或者剪枝技术来减少模型参数在RMReward Modeling阶段可以使用更快速的模型训练算法如快速梯度法Fast Gradient Method等在PPOProximal Policy Optimization阶段可以考虑使用更高效的采样和优化方法如并行采样、多步采样等。迁移学习和预训练利用迁移学习和预训练技术可以利用已有的模型或数据进行初始化或预训练从而加速训练过程。通过将已有模型的参数或特征迁移到目标模型中可以减少目标模型的训练时间和样本需求。参数调优和超参数搜索对于每个阶段的训练过程可以进行参数调优和超参数搜索以找到更好的参数设置和配置。通过系统地尝试不同的参数组合和算法设定可以找到更快速和高效的训练方式。综合运用上述方法可以加速三个阶段训练过程提高更新迭代的速度和效率从而减少训练时间和资源消耗。7. 如何解决 PPO 的训练过程同时存在4个模型2训练2推理对计算资源的要求较高 问题可以采用 RRHF(Rank Response from Human Feedback)的训练模式RRHF 不需要强化学习可以利用不同语言模型生成的回复包括 ChatGPT、GPT-4 或当前的训练模型。RRHF通过对回复进行评分并通过排名损失来使回复与人类偏好对齐。RRHF 通过通过排名损失使评分与人类的偏好或者代理的奖励模型对齐。RRHF 训练好的模型可以同时作为生成语言模型和奖励模型使用。RRHF算法可以有效地将语言模型输出概率与人类偏好对齐其训练思路非常简单训练完成的模型有几个特点仅需要1到2个模型而PPO需要4个模型因此RRHF算法更加简单高效。监督微调SFT可以被看作是RRHF算法的一种特殊形式。RRHF 算法可以同时被用作语言模型和奖励模型。RRHF 算法可以在较低的训练难度下拟合奖励模型的偏好达到PPO算法的效果并且避免了PPO算法中的复杂性和不稳定性问题。8.基于人类反馈的强化学习流程基于人类反馈的强化学习主要分为奖励模型训练和近端策略优化两个步骤。奖励模型通过由人类反馈标注的偏好数据来学习人类的偏好判断模型回复的有用性以及保证内容的无害性。近端策略优化可以根据奖励模型获得的反馈优化模型通过不断的迭代让模型探索和发现更符合人类偏好的回复策略。近端策略优化涉及到四个模型策略模型Policy Model生成模型回复。奖励模型Reward Model输出奖励分数来评估回复质量的好坏。评论模型Critic Model来预测回复的好坏可以在训练过程中实时调整模型选择对未来累积收益最大的行为。参考模型Reference Model 提供了一个SFT 模型的备份帮助模型不会出现过于极端的变化。近端策略优化的实施流程如下环境采样策略模型基于给定输入生成一系列的回复奖励模型则对这些回复进行打分获得奖励。优势估计利用评论模型预测生成回复的未来累积奖励并借助广义优势估计Generalized Advantage EstimationGAE算法来估计优势函数能够有助于更准确地评估每次行动的好处。优化调整使用优势函数来优化和调整策略模型同时利用参考模型确保更新的策略不会有太大的变化从而维持模型的稳定性。9. 什么是 LLM Agent?LLM Agent 是一种人工智能系统它利用大型语言模型 (LLM) 作为其核心计算引擎展示文本生成之外的功能包括进行对话、完成任务、推理并可以展示一定程度的自主行为。LLM Agent 根据设计阶段授予的功能Agent 从纯粹的被动到高度主动的自主行为。同时利用大模型的推理能力让 Agent 可以在人工监督下管理相对独立的工作流程分析目标项目规划执行回顾过去的工作迭代细化。10. LLM Agent 有什么关键能力Agent利用LLM的语言能力理解指令、上下文和目标。可以根据人类提示自主和半自主操作。可以利用工具套件计算器、API、搜索引擎来收集信息并采取行动来完成分配的任务。它们不仅仅局限于语言处理。可以做逻辑推理类型的任务。例如chain-of-thought , tree-of-thought。可以量身定制文本例如邮件报告市场材料。可以自动或半自动的响应用户的需求。Agent可以和不同类型的AI系统对接例如LLMimage generators。11. 怎样构建基于 LLM 的 AgentsAgent LLM Prompt Recipe Tools Interface Knowledge MemoryPrompt Recipe特定的内容要求、目标受众、所需的语气、输出长度、创造力水平等。Tools工具集成允许通过API和外部服务完成任务。Agents 能够理解自然语言、推理提示、积累记忆并采取明智的行动。但是Agents 的表现和一致性取决于他们收到的提示的质量。Knowledge知识适用于所有用户的一般专业知识。知识扩展了LLM的内容。一般分为专业知识、常识知识和程序知识。Memory单个用户或单个任务的上下文和记录细节。分为短期记忆和长期记忆。记忆服务于特定用户在时间维度的体验。使特定用户的上下文对话个性化同时保持多步骤任务的一致性。记忆侧重暂时的用户和任务细节。12. LLM Agents 有哪些类型一般来说 LLM Agents 分为会话型 Agents 和任务型 Agents两者在目标、行为和prompt方法都有重要区别。 会话型专注于提供引人入胜的个性化讨论任务型致力于完成明确定义的目标。Conversational Agents模拟人类对话能够在讨论中反映人类的倾向。允许细致入微的上下文交互会考虑语气、说话风格、领域知识、观点和个性怪癖等因素。agent的开发者可以持续增强记忆、知识整合提高响应能力持续优化应用。Task-Oriented Agents实现目标驱动利用模型的能力分析prompt、提取关键参数、指定计划、调用API、通过集成tools执行操作并生成结果回复。Prompt 工程把目标型Agents拆分成如下环节制定战略任务、串联思路、反思过去的工作以及迭代改进的方法。13. 是什么让Agent有了自制的能力通常有自制能力的系统至少有两类agent组成。一个用于生成的agent一个用于监督的agent。生成agent根据提示生成回复。监督agent在必要时审查和重新提示或指示生成agent继续工作同时提供交互反馈。自主技能是通过持续提示培养出来的。专门的监督agent提供方向、纠正和不断提高挑战持续的提示释放了推理、效能和自主决策能力的增长。14.如何给LLM注入领域知识给LLM低层次模型如BERT、GPT等注入领域知识的方法有很多。以下是一些建议数据增强在训练过程中可以通过添加领域相关的数据来增强模型的训练数据。这可以包括从领域相关的文本中提取示例、对现有数据进行扩充或生成新的数据。迁移学习使用预训练的LLM模型作为基础然后在特定领域的数据上进行微调。这样可以利用预训练模型学到的通用知识同时使其适应新领域。领域专家标注与领域专家合作对模型的输出进行监督式标注。这可以帮助模型学习到更准确的领域知识。知识图谱将领域知识表示为知识图谱然后让LLM模型通过学习知识图谱中的实体和关系来理解领域知识。规则和启发式方法编写领域特定的规则和启发式方法以指导模型的学习过程。这些方法可以是基于规则的、基于案例的或基于实例的。模型融合将多个LLM模型的预测结果结合起来以提高模型在特定领域的性能。这可以通过投票、加权平均或其他集成方法来实现。元学习训练一个元模型使其能够在少量领域特定数据上快速适应新领域。这可以通过在线学习、模型蒸馏或其他元学习方法来实现。模型解释性使用模型解释工具如LIME、SHAP等来理解模型在特定领域的预测原因从而发现潜在的知识缺失并加以补充。持续学习在模型部署后持续收集领域特定数据并更新模型以保持其在新数据上的性能。多任务学习通过同时训练模型在多个相关任务上的表现可以提高模型在特定领域的泛化能力。最后对于正在迷茫择业、想转行提升或是刚入门的程序员、编程小白来说有一个问题几乎人人都在问未来10年什么领域的职业发展潜力最大答案只有一个人工智能尤其是大模型方向当下人工智能行业正处于爆发式增长期其中大模型相关岗位更是供不应求薪资待遇直接拉满——字节跳动作为AI领域的头部玩家给硕士毕业的优质AI人才含大模型相关方向开出的月基础工资高达5万—6万元即便是非“人才计划”的普通应聘者月基础工资也能稳定在4万元左右。再看阿里、腾讯两大互联网大厂非“人才计划”的AI相关岗位应聘者月基础工资也约有3万元远超其他行业同资历岗位的薪资水平对于程序员、小白来说无疑是绝佳的转型和提升赛道。对于想入局大模型、抢占未来10年行业红利的程序员和小白来说现在正是最好的学习时机行业缺口大、大厂需求旺、薪资天花板高只要找准学习方向稳步提升技能就能轻松摆脱“低薪困境”抓住AI时代的职业机遇。如果你还不知道从何开始我自己整理一套全网最全最细的大模型零基础教程我也是一路自学走过来的很清楚小白前期学习的痛楚你要是没有方向还没有好的资源根本学不到东西下面是我整理的大模型学习资源希望能帮到你。扫码免费领取全部内容最后1、大模型学习路线2、从0到进阶大模型学习视频教程从入门到进阶这里都有跟着老师学习事半功倍。3、 入门必看大模型学习书籍文档.pdf书面上的技术书籍确实太多了这些是我精选出来的还有很多不在图里4、AI大模型最新行业报告2026最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。5、面试试题/经验【大厂 AI 岗位面经分享107 道】【AI 大模型面试真题102 道】【LLMs 面试真题97 道】6、大模型项目实战配套源码适用人群四阶段学习规划共90天可落地执行第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…扫码免费领取全部内容3、这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】