AI 人工智能AI 有不同的定义但其中一个定义或多或少已成为共识即 AI 是一类计算机系统它能够执行通常需要人类智能才能完成的任务。NLP 自然语言处理NLP 是 AI 的一个子领域专注于使计算机能够处理、解释和生成人类语言。现代 NLP 解决方案基于 ML 算法。NLP 的目标是让计算机能够处理自然语言文本。这个目标涉及诸多任务。文本分类将输入文本归为预定义的类别。这类任务包括情感分析和主题分类。比如某公司使用情感分析来了解客户对其服务的意见。电子邮件过滤是主题分类的一个例子其中电子邮件可以被归类为“个人邮件”“社交邮件”“促销邮件”“垃圾邮件”等。自动翻译将文本从一种语言自动翻译成另一种语言。请注意这类任务可以包括将代码从一种程序设计语言翻译成另一种程序设计语言比如从 Python 翻译成 C。问题回答根据给定的文本回答问题。比如在线客服门户网站可以使用 NLP 模型回答关于产品的常见问题教学软件可以使用 NLP 模型回答学生关于所学主题的问题。文本生成根据给定的输入文本称为提示词 2生成连贯且相关的输出文本。LLM大语言模型LLM大语言模型即基于深度学习的自然语言处理模型能够理解和生产人类语言。他通过大量文本数据训练学习语言的统计规律和语义信息从而完成多种语言任务如文本生成分类翻译问答摘要等。为了做到这一点LLM 会分析大量文本数据或基于这些数据进行训练从而学习句子中各词之间的模式和关系。这个学习过程可以使用各种数据源包括维基百科、Reddit、成千上万本书甚至互联网本身。在给定输入文本的情况下这个学习过程使得 LLM 能够预测最有可能出现的后续单词从而生成对输入文本有意义的回应。于 2023 年发布的一些现代语言模型非常庞大并且已经在大量文本上进行了训练因此它们可以直接执行大多数 NLP 任务如文本分类、自动翻译、问题回答等。GPT-4 和 ChatGPT 是在文本生成任务上表现出色的 LLM。作为 LLMGPT-4 和 ChatGPT 是 NLP 领域中最新的模型类型NLP 是机器学习和人工智能的一个子领域。LLM的发展演变n-gram 模型 、 循环神经网络recurrent neural networkRNN 、长短期记忆long short-term memoryLSTM、TransformerML 机器学习机器学习machine learningML是 AI 的一个子集。在 ML 中我们不试图直接实现 AI 系统使用的决策规则。相反我们试图开发算法使系统能够通过示例自己学习。自从在 20 世纪 50 年代开始进行 ML 研究以来人们已经在科学文献中提出了许多 ML 算法。DL 深度学习DL (深度学习)是 ML 的一个分支专注于受大脑结构启发的算法。这些算法被称为人工神经网络artificial neural network。GPT-4 和 ChatGPT 基于一种特定的神经网络架构即 Transformer。TransformerTransformer 就像阅读机一样它关注句子或段落的不同部分以理解其上下文并产生连贯的回答。此外它还可以理解句子中的单词顺序和上下文意思。这使 Transformer 在语言翻译、问题回答和文本生成等任务中非常有效。Transformer 则具备高效处理和编码上下文的能力。模型不再将文本序列中的所有词视为同等重要而是在任务的每个步骤中关注最相关的词。交叉注意力和自注意力是基于注意力机制的两个架构模块它们经常出现在 LLM 中。Transformer 架构广泛使用了交叉注意力模块和自注意力模块。标准的 Transformer 架构有两个主要组件编码器和解码器两者都十分依赖注意力机制。编码器的任务是处理输入文本识别有价值的特征并生成有意义的文本表示称为嵌入embedding。解码器使用这个嵌入来生成一个输出比如翻译结果或摘要文本。这个输出有效地解释了编码信息。GPT 生成式预训练 TransformerGenerative Pre-trained TransformerGPT生成式预训练 TransformerGenerative Pre-trained TransformerGPT是一类基于 Transformer 架构的模型专门利用原始架构中的解码器部分。在 GPT 中不存在编码器因此无须通过交叉注意力机制来整合编码器产生的嵌入。也就是说GPT 仅依赖解码器内部的自注意力机制来生成上下文感知的表示和预测结果。GPT 模型接收一段提示词作为输入然后生成一段文本作为输出。这个过程被称为文本补全。当 GPT 模型收到一段提示词之后它首先将输入拆分成标记token。这些标记代表单词、单词的一部分、空格或标点符号。AI、ML 、DL的关系