引言网上关于大模型的文章也很多但是都不太容易看懂。今天试着写一篇争取做到通俗易懂。废话不多说我们直入主题。█什么是大模型大模型英文名叫Large Model大型模型。早期的时候也叫Foundation Model基础模型。大模型是一个简称。完整的叫法应该是“人工智能预训练大模型”。预训练是一项技术我们后面再解释。我们现在口头上常说的大模型实际上特指大模型的其中一类也是用得最多的一类——语言大模型Large Language Model也叫大语言模型简称LLM。除了语言大模型之外还有视觉大模型、多模态大模型等。现在包括所有类别在内的大模型合集被称为广义的大模型。而语言大模型被称为狭义的大模型。从本质来说大模型是包含超大规模参数通常在十亿个以上的神经网络模型。之前给大家科普人工智能链接的时候小枣君介绍过神经网络是人工智能领域目前最基础的计算模型。它通过模拟大脑中神经元的连接方式能够从输入数据中学习并生成有用的输出。这是一个全连接神经网络每层神经元与下一层的所有神经元都有连接包括1个输入层N个隐藏层1个输出层。大名鼎鼎的卷积神经网络CNN、循环神经网络RNN、长短时记忆网络LSTM以及transformer架构都属于神经网络模型。目前业界大部分的大模型都采用了transformer架构。刚才提到大模型包含了超大规模参数。实际上大模型的“大”不仅是参数规模大还包括架构规模大、训练数据大、算力需求大。以OpenAI公司的GPT-3为例。这个大模型的隐藏层一共有96层每层的神经元数量达到2048个。整个架构的规模就很大我可画不出来神经元节点数量很多。大模型的参数数量和神经元节点数有一定的关系。简单来说神经元节点数越多参数也就越多。例如GPT-3的参数数量大约是1750亿。大模型的训练数据也是非常庞大的。同样以GPT-3为例采用了45TB的文本数据进行训练。即便是清洗之后也有570GB。具体来说包括CC数据集4千亿词WebText2190亿词BookCorpus670亿词维基百科30亿词绝对堪称海量。最后是算力需求。这个大家应该都听说过训练大模型需要大量的GPU算卡资源。而且每次训练都需要很长的时间。GPU算卡根据公开的数据显示训练GPT-3大约需要3640PFLOP·天PetaFLOP·Days。如果采用512张英伟达的A100 GPU单卡算力195 TFLOPS大约需要1个月的时间。训练过程中有时候还会出现中断实际时间会更长。总而言之大模型就是一个虚拟的庞然大物架构复杂、参数庞大、依赖海量数据且非常烧钱。相比之下参数较少百万级以下、层数较浅的模型是小模型。小模型具有轻量级、高效率、易于部署等优点适用于数据量较小、计算资源有限的垂直领域场景。█大模型是如何训练出来的接下来我们了解一下大模型的训练过程。大家都知道大模型可以通过对海量数据的学习吸收数据里面的“知识”。然后再对知识进行运用例如回答问题、创造内容等。学习的过程我们称之为训练。运用的过程则称之为推理。训练又分为预训练Pre-trained和微调Fine tuning两个环节。预训练在预训练时我们首先要选择一个大模型框架例如transformer。然后通过“投喂”前面说的海量数据让大模型学习到通用的特征表示。那么为什么大模型能够具有这么强大的学习能力为什么说它的参数越多学习能力就越强我们可以参考MIT麻省理工公开课的一张图这张图是深度学习模型中一个神经元的结构图。神经元的处理过程其实就是一个函数计算过程。算式中x是输入y是输出。预训练就是通过x和y求解W。W是算式中的“权重weights”。权重决定了输入特征对模型输出的影响程度。通过反复训练来获得权重这就是训练的意义。权重是最主要的参数类别之一。除了权重之外还有另一个重要的参数类别——偏置biases。参数有很多种类权重决定了输入信号对神经元的影响程度而偏置则可以理解为神经元的“容忍度”即神经元对输入信号的敏感程度。简单来说预训练的过程就是通过对数据的输入和输出去反复“推算”最合理的权重和偏置也就是参数。训练完成后这些参数会被保存以便模型的后续使用或部署。参数越多模型通常能够学习到更复杂的模式和特征从而在各种任务上表现出更强的性能。我们通常会说大模型具有两个特征能力——涌现能力和泛化能力。当模型的训练数据和参数不断扩大直到达到一定的临界规模后会表现出一些未能预测的、更复杂的能力和特性。模型能够从原始训练数据中自动学习并发现新的、更高层次的特征和模式。这种能力被称为“涌现能力”。“涌现能力”可以理解为大模型的脑子突然“开窍”了不再仅仅是复述知识而是能够理解知识并且能够发散思维。泛化能力是指大模型通过“投喂”海量数据可以学习复杂的模式和特征可以对未见过的数据做出准确的预测。简单来说就像董宇辉一样书读得多了有些书虽然没读过他也能瞎掰几句。参数规模越来越大虽然能让大模型变得更强但是也会带来更庞大的资源消耗甚至可能增加“过拟合”的风险。过拟合是指模型对训练数据学习得过于精确以至于它开始捕捉并反映训练数据中的噪声和细节而不是数据的总体趋势或规律。说白了就是大模型变成了“书呆子”只会死记硬背不愿意融会贯通。预训练所使用的数据我们也需要再说明一下。预训练使用的数据是海量的未标注数据几十TB。之所以使用未标注数据是因为互联网上存在大量的此类数据很容易获取。而标注数据基本上靠人肉标注需要消耗大量的时间和金钱成本太高。预训练模型可以通过无监督学习方法如自编码器、生成对抗网络、掩码语言建模、对比学习等大家可以另行了解从未标注数据中学习到数据的通用特征和表示。这些数据也不是随便网上下载得来的。整个数据需要经过收集、清洗、脱敏和分类等过程。这样可以去除异常数据和错误数据还能删除隐私数据让数据更加标准化有利于后面的训练过程。获取数据的方式也是多样化的。如果是个人和学术研究可以通过一些官方论坛、开源数据库或者研究机构获取。如果是企业既可以自行收集和处理也可以直接通过外部渠道市场上有专门的数据提供商购买。微调预训练学习之后我们就得到了一个通用大模型。这种模型一般不能直接拿来用因为它在完成特定任务时往往表现不佳。这时我们需要对模型进行微调。微调是给大模型提供特定领域的标注数据集对预训练的模型参数进行微小的调整让模型更好的完成特定任务。行业数据类别微调之后的大模型可以称之为行业大模型。例如通过基于金融证券数据集的微调可以得到一个金融证券大模型。如果再基于更细分的专业领域进行微调就是专业大模型也叫垂直大模型。我们可以把通用大模型理解为中小学生行业大模型是大学本科生专业大模型是研究生。微调阶段由于数据量远小于预训练阶段所以对算力需求小很多。大家注意对于大部分大模型厂商来说他们一般只做预训练不做微调。而对于行业客户来说他们一般只做微调不做预训练。“预训练微调”这种分阶段的大模型训练方式可以避免重复的投入节省大量的计算资源显著提升大模型的训练效率和效果。预训练和微调都完成之后需要对这个大模型进行评估。通过采用实际数据或模拟场景对大模型进行评估验证确认大模型的性能、稳定性和准确性等是否符合设计要求。等评估和验证也完成大模型基本上算是打造成功了。接下来我们可以部署这个大模型将它用于推理任务。换句话说这时候的大模型已经“定型”参数不再变化可以真正开始干活了。大模型的推理过程就是我们使用它的过程。通过提问、提供提示词Prompt可以让大模型回答我们的问题或者按要求进行内容生成。最后画一张完整的流程图█ 大模型究竟有什么作用根据训练的数据类型和应用方向我们通常会将大模型分为语言大模型以文本数据进行训练、音频大模型以音频数据进行训练、视觉大模型以图像数据进行训练以及多模态大模型文本和图像都有。语言大模型擅长自然语言处理NLP领域能够理解、生成和处理人类语言常用于文本内容创作生成文章、诗歌、代码、文献分析、摘要汇总、机器翻译等场景。大家熟悉的ChatGPT就属于此类模型。音频大模型可以识别和生产语音内容常用于语音助手、语音客服、智能家居语音控制等场景。视觉大模型擅长计算机视觉CV领域可以识别、生成甚至修复图像常用于安防监控、自动驾驶、医学以及天文图像分析等场景。多模态大模型结合了NLP和CV的能力通过整合并处理来自不同模态的信息文本、图像、音频和视频等可以处理跨领域的任务例如文生图文生视频、跨媒体搜索通过上传图搜索和图有关的文字描述等。今年以来多模态大模型的崛起势头非常明显已经成为行业关注的焦点。如果按照应用场景进行分类那么类别就更多了例如金融大模型、医疗大模型、法律大模型、教育大模型、代码大模型、能源大模型、政务大模型、通信大模型等等。例如金融大模型可以用于风险管理、信用评估、交易监控、市场预测、合同审查、客户服务等。功能和作用很多很多不再赘述。█ 大模型的发展趋势截至2024年3月25日中国10亿参数规模以上的大模型数量已经超过100个号称“百模大战”。这些大模型的应用领域、参数规模各有不同但是背后都是白花花的银子。根据行业估测的数据训练一个大模型成本可能在几百万美元到上亿美元之间。例如GPT-3训练一次的成本约为140万美元。Claude 3模型的训练费用高达约1亿美元。如此多的企业推出大模型实际上也是一种资源的浪费。而且大模型也分为开源大模型和闭源大模型。行业里有能力做闭源大模型的企业并不是很多。大部分的大模型都是基于开源大模型框架和技术打造的实际上是为了迎合资本市场的需求或者为了蹭热度。行业里目前仍有部分头部企业在死磕参数规模更大的超大模型拥有数万亿到数千万亿个参数例如OpenAI、xAI等。马斯克之前就在X平台宣布xAI团队已经成功启动了世界上最强大的AI训练集群。该集群由10万块H100组成主要用于Grok 2和Grok 3的训练和开发。对于大部分企业来说万卡和万亿参数其实已经是个天花板了再往上走的意愿不强烈钱包也不允许。随着行业逐渐趋于理性现在大家的关注焦点逐渐从“打造大模型”变成“使用大模型”。如何将大模型投入具体应用如何吸引更多用户如何通过大模型创造收入成为各大厂商的头等任务。大模型落地就涉及到能力“入”端下沉到终端。所以AI手机、AI PC、具身智能的概念越来越火成为新的发展热点。以AI手机为例像高通、联发科等芯片厂商都推出了具有更强AI算力的手机芯片。而OPPO、vivo等手机厂商也在手机里内置了大模型并推出了很多原生AI应用。第三方AI应用的数量就更不用说了。截止目前根据行业数据显示具有AI功能的APP数量已达到300多万款。2024年6月AIGC类APP的月活跃用户规模达6170万同比增长653%。大模型入端也带来了轻量化的趋势。为了在资源受限的设备上运行大模型将通过剪枝、量化、蒸馏等技术进行轻量化保持性能的同时减少计算资源需求。█大模型会带来哪些挑战大模型是一个好东西能够帮我们做很多事情节约时间提升效率。但是大模型也是一把双刃剑会带来一些新的挑战。首先是影响失业率。大模型所掀起的AI人工智能浪潮肯定会导致一些人类工作岗位被替代进而导致失业率上升。其次是版权问题。大模型基于已有数据进行学习。大模型生成的内容尤其是用于文本、图像、音乐和视频创作可能引发版权和知识产权问题。它虽然帮助了创作但也“引用”了人类创作者的作品界限难以区分。长此以往可能打击人类的原生创作热情。第三大模型可能引发算法偏见和不公平。也就是说训练数据中存在的偏差会导致大模型学习到这些偏差从而在预测和生成内容时表现出不公平的行为。模型可能无意中强化社会上的刻板印象和偏见例如性别、种族和宗教等方面的偏见。大模型生成的内容也可能被用于政治宣传和操纵影响选举和公共舆论。第四被用于犯罪。大模型可以生成逼真的文本、图像、语音和视频这些内容可能被用于诈骗、诽谤、虚假信息传播等恶意用途。第五能耗问题。大模型的训练和推理需要大量的计算资源这不仅增加了成本还带来了巨大的碳排放。很多企业为了服务于资本市场或跟风盲目进行大模型训练消耗了大量的资源也导致了无意义的碳排放。总而言之大模型在伦理、法律、社会和经济层面带来的威胁和挑战还是很多的需要更多时间进行探索和解决。好啦以上就是今天文章的全部内容希望对大家有所帮助对于人工智能这个领域小枣君也是学习阶段。文章如果有错漏的地方还请大家多多指正谢谢如何系统的去学习大模型LLM 大模型时代火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业”“谁的饭碗又将不保了”等问题热议不断。事实上抢你饭碗的不是AI而是会利用AI的人。继科大讯飞、阿里、华为等巨头公司发布AI产品后很多中小企业也陆续进场超高年薪挖掘AI大模型人才如今大厂老板们也更倾向于会AI的人普通程序员还有应对的机会吗与其焦虑……不如成为「掌握AI工具的技术人」毕竟AI时代谁先尝试谁就能占得先机但是LLM相关的内容很多现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学学习成本和门槛很高。基于此我用做产品的心态来打磨这份大模型教程深挖痛点并持续修改了近70次后终于把整个AI大模型的学习门槛降到了最低在这个版本当中第一您不需要具备任何算法和数学的基础第二不要求准备高配置的电脑第三不必懂Python等任何编程语言您只需要听我讲跟着我做即可为了让学习的道路变得更简单这份大模型教程已经给大家整理并打包现在将这份LLM大模型资料分享出来包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 有需要的小伙伴可以扫描下方二维码领取↓↓↓CSDN大礼包全网最全《LLM大模型入门进阶学习资源包》免费分享安全链接放心点击一、LLM大模型经典书籍AI大模型已经成为了当今科技领域的一大热点那以下这些大模型书籍就是非常不错的学习资源。二、640套LLM大模型报告合集这套包含640份报告的合集涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)三、LLM大模型系列视频教程四、LLM大模型开源教程LLaLA/Meta/chatglm/chatgpt五、AI产品经理大模型教程LLM大模型学习路线↓阶段1AI大模型时代的基础理解目标了解AI大模型的基本概念、发展历程和核心原理。内容L1.1 人工智能简述与大模型起源L1.2 大模型与通用人工智能L1.3 GPT模型的发展历程L1.4 模型工程L1.4.1 知识大模型L1.4.2 生产大模型L1.4.3 模型工程方法论L1.4.4 模型工程实践L1.5 GPT应用案例阶段2AI大模型API应用开发工程目标掌握AI大模型API的使用和开发以及相关的编程技能。内容L2.1 API接口L2.1.1 OpenAI API接口L2.1.2 Python接口接入L2.1.3 BOT工具类框架L2.1.4 代码示例L2.2 Prompt框架L2.3 流水线工程L2.4 总结与展望阶段3AI大模型应用架构实践目标深入理解AI大模型的应用架构并能够进行私有化部署。内容L3.1 Agent模型框架L3.2 MetaGPTL3.3 ChatGLML3.4 LLAMAL3.5 其他大模型介绍阶段4AI大模型私有化部署目标掌握多种AI大模型的私有化部署包括多模态和特定领域模型。内容L4.1 模型私有化部署概述L4.2 模型私有化部署的关键技术L4.3 模型私有化部署的实施步骤L4.4 模型私有化部署的应用场景这份LLM大模型资料包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 有需要的小伙伴可以扫描下方二维码领取↓↓↓CSDN大礼包全网最全《LLM大模型入门进阶学习资源包》免费分享安全链接放心点击