在 2 月 5 日Hugging Face 核心库Transformers正式发布稳定版本v5.1.0。这一版本并非简单的功能迭代而是一次面向“工程化与生产级应用”的体系升级。本次更新最重要的改变在于全面强化与各类推理引擎和工具链的无缝协作能力。模型可以在一端完成训练或微调后直接部署至vLLM、SGLang、llama.cpp等主流推理后端顺畅运行同时量化能力被提升为核心能力原生支持 8bit、4bit 等低精度格式。这意味着从训练 → 量化 → 推理 → 部署可以形成更加完整、稳定且高效的一体化工作流。与此同时库内部架构与 API 体系也进行了重构与清理。遗留设计被精简接口更加统一模块职责更加清晰整体使用门槛显著降低。这使得 Transformers 不再仅仅是一个“模型加载工具”而是逐步演进为覆盖训练、推理、优化与部署全流程的底层基础设施。在我看来这就像 LangChain 推出 v1.0 之后迎来最佳学习窗口期一样如今也是系统学习 Hugging Face 全栈能力的最佳时机。尽管目前国内访问 Hugging Face 官方资源存在一定限制但这并不会削弱 Transformers 作为大模型底层开发核心库的地位。无论是模型调用、参数高效微调、推理优化还是评估体系构建Hugging Face 生态都已经成为不可绕开的基础能力。借此契机也结合我即将在学校开设的《大模型微调与部署》课程我将系统推出一系列课程内容围绕 Hugging Face 生态展开实践包括模型调用与推理优化提示词工程SFT / RL 微调流程训练评估方法量化与推理加速希望通过系统化的拆解与实战让大家真正理解大模型底层机制而不仅仅停留在 API 调用层面。那在本节课里我们从最基础的模型下载和模型调用开始说起先帮助大家快速在本地调用开源的模型。同时最后我将就下载的模型文件来让大家对大模型的底层原理进行了解希望能对大家有所帮助那我们废话不多说现在就开始吧环境准备首先我们需要提前安装好VS Code和Anaconda并配置好相关的系统环境变量。这个部分属于基础环境准备网上教程很多大家可以直接在 B 站搜索对应视频先完成安装与配置。完成基础安装后我们先创建并激活一个独立的 Conda 环境方便后续管理依赖避免与其他项目产生冲突conda create -n fine-tuning python3.12 -yconda activate fine-tuning接着建议为当前环境配置国内镜像源这里使用清华源这样后续安装 Python 包会更稳定、更快一些pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple另外对于大模型的推理、微调与部署这类任务来说基本都离不开NVIDIA GPU。本课程中的实操内容主要基于我本地的一台笔记本R9000PRTX 30606GB 显存完成。6GB 显存虽然不算高但通过合理设置参数依然可以完成一些轻量级模型的训练与实验演示。当然如果你的设备配置更高会有更好的体验如果是准备跟着课程完整实践建议显存至少在6GB 及以上。对于希望使用 GPU 进行大模型开发的同学来说CUDA是绕不开的一环。虽然目前 CUDA 已经发展到 13.x 版本但由于我这边使用的是较早期显卡因此安装的是CUDA 12.3。如果你还没有安装 CUDA建议前往 NVIDIA 官网下载并安装 CUDA 12.3例如 Windows 版本。当然从本课程后续依赖来看安装 CUDA 12.1 及以上版本通常就已经够用因为后面安装的 PyTorch 主要使用的是cu121对应版本。在完成 CUDA 安装后我们就可以在刚刚创建的 Conda 环境中安装课程所需的核心依赖库包括transformers、torch、huggingface_hub、accelerate等。激活环境后依次执行以下命令即可pip install transformers5.1.0pip install huggingface_hubpip install acceleratepip install torch torchvision --index-url https://download.pytorch.org/whl/cu121安装完成后我们可以通过以下代码检查一下 torch 是否能够识别到 CUDAimport torchprint(torch:, torch.__version__)print(cuda available:, torch.cuda.is_available())print(gpu:, torch.cuda.get_device_name(0) if torch.cuda.is_available() else None)如果cuda available输出True并且能打印出显卡名称说明环境已经准备完成。以上就是本节课需要准备好的环境了后面的课程将会在这个基础上进一步进行配置。模型下载下载代码在配置好了环境后接下来我们需要把我们需要的模型下载到本地后进行使用。由于我们无法直接连接上 Huggingface因此我们需要通过镜像网站https://hf-mirror.com进行下载import osfrom huggingface_hub import snapshot_download# 配置镜像站os.environ[HF_ENDPOINT] https://hf-mirror.comsnapshot_download( repo_idQwen/Qwen3-0.6B, local_dirqwen, local_dir_use_symlinksFalse, # Windows 推荐 False resume_downloadTrue)print(Download finished: qwen)这里使用的就是 huggingface_hub 的 snapshot_download 进行下载其作用是把某个模型仓库的“完整快照”下载到本地目录。该方法有几个比较关键的参数repo_id这个是 Huggingface 上仓库标识符格式是“组织名 / 仓库名”我们可以直接通过链接进行查找Qwen/Qwen3-0.6B · Hugging Facelocal_dir这个是确定下载到本地的哪个位置当前下载的位置会在本地终端路径下的 qwen 文件夹中。比如我当前的终端路径是D:\微调与部署那么运行代码后模型就会下载在D:\微调与部署\qwen中没有文件夹就会自行创建。当然我们也可以给出绝对路径这样会更准确一些。local_dir_use_symlinks这个 symlink 其实是符号链接类似快捷方式默认情况下 Hugging Face 会把文件下载到~/.cache/huggingface/然后在local_dir里创建符号链接。这样可以节省磁盘空间并且多次下载不会重复存储。但是Windows 对符号链接支持不好容易报错且经常出现路径异常所以推荐关闭掉。当然代价就是占用的磁盘更多不过也更稳定。resume_download这个参数是用于出现网络问题时实现断点续传。如果下载中途出现网络断开、程序停止或者被 CtrlC 打断的话下次运行时不会重新下载整个模型而是只下载未完成的部分。所以这对大模型几 GB非常重要。下载好后我们就能够在文件夹里看到类似的以下内容这样我们就把所有的模型文件给下载下来了接下来就可以来尝试对其进行调用了背景理解但在正式调用之前我们先来了解一下我们下载下来的这些东西到底是什么。开源模型像Qwen3这样开源可下载的模型本质上是一个已经训练好的神经网络参数集合。其由阿里云通义实验室研发训练的在训练完成后将训练好的模型结果无偿的开源放在网络上让大家进行使用。当然这里的开源并不是真正的开源因为其所使用的训练数据、代码、技巧等等内容其实都没有给大家我们获取到的只是模型权重和结构能够通过调用获取到结果但是我们很难直接在本地直接复刻一个类似的模型出来。最早做开源这个事情的人是 Meta 只不过由于 Llama 3 拉胯的表现以及其数据作假等问题渐渐地开源模型的山头被后来居上的国产模型给占领了。但是无论如何这相比起其他只提供 API 接口而不开源自己模型的闭源模型厂家而言开源已经能够给到许多个人开发者或者小型企业大量的机会在原本模型的基础上去实现本地化微调和部署自己内部运行的模型。模型参数那跟在Qwen 3后面的0.6B表示约 6 亿个参数0.6 Billion parameters规模属于“小型大语言模型”。选择这个模型的主要原因是显卡显存有限无法支持更大且更常见的 4B 、8B 或者 14B 甚至是 32B 的模型。但假如大家显存更多的话可以考虑使用更大的模型具体模型可以前往 Huggingface 官网查看Qwen3 - a Qwen Collection。下载内容在下载的内容中我们可以看到这里有很多个文件包括 model.safetensors、config.json、LICENSE 等等其大体可以分成四类模型权重和配置文件模型权重文件和配置文件共同决定了模型“长什么样”以及“会什么”。配置文件config.json描述的是模型的结构蓝图包括层数、隐藏维度、注意力头数等架构信息而权重文件model.safetensors则保存了模型在大规模数据训练过程中学到的全部参数这些参数本质上是数值矩阵记录了语言规律和知识模式。当前主流大语言模型大多基于 Attention Is All You Need 提出的 Transformer 架构发展而来因此可以理解为配置文件定义模型的“神经结构”权重文件承载模型的“学习成果”二者结合才能构成一个可运行、可推理的大模型。文件作用model.safetensors存储全部神经网络参数约 6 亿参数config.json网络结构定义层数、隐藏维度、attention头数等分词器相关文件决定模型如何理解文本。对于计算机而言其本质上就是一个二进制的机器并不能够直接理解人类创造的机器。因此我们需要通过分词器将文字转化为机器能理解的 token 形式这样后续才能传入到大模型中获取结果。文件作用tokenizer.json分词规则整体定义tokenizer_config.json分词器配置vocab.json词表merges.txtBPE 合并规则生成行为配置文件控制模型输出方式这个主要是在调用中可以进行设置常见的包括temperaturetop_p和top_k等。除此之外该文件里还有很重要的是去定义开始的 token 和结束的 token从而限制模型出现一直重复说一句话的情况。一般这个文件并不需要进行改动甚至假如我们要在非 Transformers 的框架下使用该模型我们甚至还需要根据该文件去在别的框架进行“对齐”不然就很可能出现胡言乱语的情况。文件作用generation_config.json默认生成参数温度、最大长度等其他辅助文件这些文件都不会影响模型运行。文件作用LICENSE使用协议README.md模型说明.gitattributesGit 管理文件.cache本地缓存目录模型调用在我们下载好模型后我们就可以着手对这个模型进行调用了那这里我们有两种方法进行调用一种是用最简单的 pipeline 进行调用另外一种则是 基于AutoTokenizer AutoModel generate/forward的手动调用。pipeline 调用那这里我们先通过最简单的 pipeline 来进行调用我们只需要从 transformers 库中导入 pipeline 并且传入一个 openai 格式的 messages 即可进行调用from transformers import pipelinepipe pipeline( text-generation, modelrqwen)messages [{role: user, content: 你是谁}]result pipe(messages) print(result)这里的 pipeline 最主要就是传入两个必要的参数一个是 task 即任务的类型。另外一个则是 model 参数即模型的名称这个可以是 Hugging Face Hub 仓库名也可以是本地目录所以我们这里直接传入的就是本地的相对路径进行调用。在 transformers 中有很多种任务类型包括任务名作用text-generation文本生成text-classification文本分类question-answering问答summarization摘要translation翻译image-classification图像分类automatic-speech-recognition语音识别对于大模型这种本质上是预测下一个 token 的模型而言我们都将其统称为文本生成类模型text-generation。不同的任务类型其实会有不一样的参数比如对于 text-generation 而言还有一些其他的参数包括tokenizer分词器名称/路径/对象负责把文本变 token 并把 token 还原成文本。revision指定模型仓库的分支、tag 或 commit保证加载版本可复现。use_fast是否优先使用 Fast tokenizerRust 实现通常更快更省内存。device指定运行设备CPU/GPU/MPS 等例如0表示第一张 GPU。device_map指定或自动切分模型到多设备如auto常用于大模型分卡/分层加载。dtype指定模型权重加载精度如auto/float16/bfloat16影响显存占用与速度。trust_remote_code是否允许加载仓库里的自定义 Python 代码很多国产模型需要 True。model_kwargs透传给from_pretrained()的额外参数如量化、低内存加载等。我们可以根据需要选择其他的参数。那在运行这段代码后此时终端出现的结果为Loading weights: 100%|█████████████████████████████████████| 311/311 [00:0000:00, 2329.74it/s, Materializing parammodel.norm.weight]The tied weights mapping and config for this model specifies to tie model.embed_tokens.weight to lm_head.weight, but both are present in the checkpoints, so we will NOT tie them. You should update the config with tie_word_embeddingsFalse to silence this warning Both max_new_tokens (256) and max_length(20) seem to have been set. max_new_tokens will take precedence. Please refer to the documentation for more information. (https://huggingface.co/docs/transformers/main/en/main_classes/text_generation)[{generated_text: [{role: user, content: 你是谁}, {role: assistant, content: think\n好的用户问我是谁。作为一个AI助手我需要明确回答。首先我应该简要介绍自己的身份同时保持友好和专业的形象。可以提到我是由阿里巴巴集团开发的AI助手旨在提供帮助和 支持。此外要让用户感到被尊重和信赖可以补充一些基本信息比如我的名字和主要功能。在回答中要保持简洁避免冗长让用户容易理解。同时 要确保语气亲切让用户觉得我是专业的且可信赖的助手。这样用户会感到满意也便于后续的互动。\n/think\n\n我是阿里巴巴集团开发的AI助手 专注于为您提供帮助和支持。您可以随时询问我的知识或需求我会尽力为您提供帮助。如果您有任何问题或需要支持请告诉我}]}]那其实里面的都是一些警告的信息这些我们都不太需要管我们重点只需要去看最后一部分的内容即模型真正生成的内容[{generated_text: [{role: user, content: 你是谁}, {role: assistant, content: think\n好的用户问我是谁。作为一个AI助手我需要明确回答。首先我应该简要介绍自己的身份同时保持友好和专业的形象。可以提到我是由阿里巴巴集团开发的AI助手旨在提供帮助和 支持。此外要让用户感到被尊重和信赖可以补充一些基本信息比如我的名字和主要功能。在回答中要保持简洁避免冗长让用户容易理解。同时 要确保语气亲切让用户觉得我是专业的且可信赖的助手。这样用户会感到满意也便于后续的互动。\n/think\n\n我是阿里巴巴集团开发的AI助手 专注于为您提供帮助和支持。您可以随时询问我的知识或需求我会尽力为您提供帮助。如果您有任何问题或需要支持请告诉我}]}]那最外面是一个列表这个主要原因是 pipeline 是支持 batch 输入的也就是说一次可以传入多个问题然后每个问题都是一个字典构成里面就一个键 ‘generated_text’ 。那在这个键对应的值也是一个列表里面保存了多条 openai 格式的对话信息包括 user 角色role写入的问题内容content还有 assisant 输出的结果内容[ { generated_text: [ {role: user, content: ...}, {role: assistant, content: ...} ] }]假如我们只要 assistant 的内容那我们可以自己手动解析比如response result[0][generated_text][-1][content]print(response)这样我们就可以单独获得 assistant 的内容了也就是think\n好的用户问我是谁。作为一个AI助手我需要明确回答。首先我应该简要介绍自己的身份同时保持友好和专业的形象。可以提到我是由阿里巴巴集团开发的AI助手旨在提供帮助和 支持。此外要让用户感到被尊重和信赖可以补充一些基本信息比如我的名字和主要功能。在回答中要保持简洁避免冗长让用户容易理解。同时 要确保语气亲切让用户觉得我是专业的且可信赖的助手。这样用户会感到满意也便于后续的互动。\n/think\n\n我是阿里巴巴集团开发的AI助手 专注于为您提供帮助和支持。您可以随时询问我的知识或需求我会尽力为您提供帮助。如果您有任何问题或需要支持请告诉我但这里我们发现回复的内容里还有标签也就…这个其实是模型的内部推理输出Chain-of-Thought也就是在模型正式输出结果前强制让其输出一段思考的内容这样。这个功能最开始是在 OpenAI 的 o1 模型上推出后面被国内 DeepSpeek 开源的 R1 模型所低成本复刻。从此之后基本后续的所有模型都标配了推理模式。底层调用除了使用 pipeline 快速进行调用完我们还可以通过底层的方式进行调用。这样的调用方式虽然更麻烦但是其可控性更高可以对模型有更精确的推理控制import torchfrom transformers import AutoTokenizer, AutoModelForCausalLMdef main(): model_path rqwen tokenizer AutoTokenizer.from_pretrained(pretrained_model_name_or_pathmodel_path, use_fastTrue,local_files_onlyTrue) model AutoModelForCausalLM.from_pretrained( pretrained_model_name_or_pathmodel_path, trust_remote_codeTrue, device_mapauto, dtypetorch.float16, ) user_prompt 你是谁 messages [{role: user, content: user_prompt}] # 关键用 Qwen3 的 chat template 生成“模型真正想要的输入文本” text tokenizer.apply_chat_template( messages, tokenizeFalse, add_generation_promptTrue, enable_thinkingFalse, # 先关闭 thinking输出更直接 ) inputs tokenizer([text], return_tensorspt).to(model.device) generated model.generate( **inputs, max_new_tokens60, do_sampleTrue, temperature0.6, top_k20, top_p0.95, ) # 关键只取新生成的部分不把 prompt 原样打印出来 new_tokens generated[0][inputs[input_ids].shape[1]:] answer tokenizer.decode(new_tokens, skip_special_tokensTrue).strip() print(\n 模型回答 ) print(answer)if __name__ __main__: main()那下节课里我们就更深入对这部分内容这里进行讲解这里我就不多赘述了。假如此时运行代码后返回的结果只会保留结果内容Loading weights: 100%|██████████| 311/311 [00:0200:00, 114.58it/s, Materializing parammodel.norm.weight] The tied weights mapping and config for this model specifies to tie model.embed_tokens.weight to lm_head.weight, but both are present in the checkpoints, so we will NOT tie them. You should update the config with tie_word_embeddingsFalse to silence this warning 模型回答 我是一个AI助手我不会提供真实的身份信息。如果您有任何问题或需要帮助请随时告诉我以上就是本节调用的全部内容了可以看到在把模型下载到本地了以后调用模型还是非常方便的。总结总的来说在本节课中我们从最基础的环境配置开始完整地走通了一个开源大模型在本地运行的全过程从安装 CUDA 与核心依赖库到通过snapshot_download下载模型快照再到使用pipeline与底层AutoTokenizer AutoModel两种方式完成模型调用。在这个过程中我们不仅仅停留在“代码如何写”的层面更重要的是理解了几个核心概念包括开源模型究竟是什么0.6B 参数规模代表什么模型文件结构如何划分权重文件与配置文件分别承担什么作用分词器如何让机器理解人类语言为什么生成配置文件会影响模型的输出行为同时我们也初步看到了高层封装调用pipeline与底层控制调用之间的差异前者简单易用适合快速验证后者可控性更强是后续微调与推理优化的基础。至此我们已经完成了大模型开发流程中最关键的第一步——真正把模型掌握在自己手中并在本地成功运行起来。这一步看似简单却是后续所有微调、量化、部署与性能优化的前提。在下一节课中我们将进一步深入模型调用的底层逻辑理解generate()的工作机制以及模型在推理阶段到底发生了什么。只有真正理解这些底层原理才能在后续的微调与部署实践中做到有的放矢而不是机械调用 API。从“下载模型”到“理解模型”我们已经迈出了第一步。接下来我们将逐步走向更深层次的大模型工程实践。那我们下节课再见咯886想入门 AI 大模型却找不到清晰方向备考大厂 AI 岗还在四处搜集零散资料别再浪费时间啦2026 年AI 大模型全套学习资料已整理完毕从学习路线到面试真题从工具教程到行业报告一站式覆盖你的所有需求现在全部免费分享扫码免费领取全部内容一、学习必备100本大模型电子书26 份行业报告 600 套技术PPT帮你看透 AI 趋势想了解大模型的行业动态、商业落地案例大模型电子书这份资料帮你站在 “行业高度” 学 AI1. 100本大模型方向电子书2. 26 份行业研究报告覆盖多领域实践与趋势报告包含阿里、DeepSeek 等权威机构发布的核心内容涵盖职业趋势《AI 职业趋势报告》《中国 AI 人才粮仓模型解析》商业落地《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》领域细分《AGI 在金融领域的应用报告》《AI GC 实践案例集》行业监测《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。3. 600套技术大会 PPT听行业大咖讲实战PPT 整理自 2024-2025 年热门技术大会包含百度、腾讯、字节等企业的一线实践安全方向《端侧大模型的安全建设》《大模型驱动安全升级腾讯代码安全实践》产品与创新《大模型产品如何创新与创收》《AI 时代的新范式构建 AI 产品》多模态与 Agent《Step-Video 开源模型视频生成进展》《Agentic RAG 的现在与未来》工程落地《从原型到生产AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。二、求职必看大厂 AI 岗面试 “弹药库”300 真题 107 道面经直接抱走想冲字节、腾讯、阿里、蔚来等大厂 AI 岗这份面试资料帮你提前 “押题”拒绝临场慌1. 107 道大厂面经覆盖 Prompt、RAG、大模型应用工程师等热门岗位面经整理自 2021-2025 年真实面试场景包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题每道题都附带思路解析2. 102 道 AI 大模型真题直击大模型核心考点针对大模型专属考题从概念到实践全面覆盖帮你理清底层逻辑3. 97 道 LLMs 真题聚焦大型语言模型高频问题专门拆解 LLMs 的核心痛点与解决方案比如让很多人头疼的 “复读机问题”三、路线必明 AI 大模型学习路线图1 张图理清核心内容刚接触 AI 大模型不知道该从哪学起这份「AI大模型 学习路线图」直接帮你划重点不用再盲目摸索路线图涵盖 5 大核心板块从基础到进阶层层递进一步步带你从入门到进阶从理论到实战。L1阶段:启航篇丨极速破界AI新时代L1阶段了解大模型的基础知识以及大模型在各个行业的应用和分析学习理解大模型的核心原理、关键技术以及大模型应用场景。L2阶段攻坚篇丨RAG开发实战工坊L2阶段AI大模型RAG应用开发工程主要学习RAG检索增强生成包括Naive RAG、Advanced-RAG以及RAG性能评估还有GraphRAG在内的多个RAG热门项目的分析。L3阶段跃迁篇丨Agent智能体架构设计L3阶段大模型Agent应用架构进阶实现主要学习LangChain、 LIamaIndex框架也会学习到AutoGPT、 MetaGPT等多Agent系统打造Agent智能体。L4阶段精进篇丨模型微调与私有化部署L4阶段大模型的微调和私有化部署更加深入的探讨Transformer架构学习大模型的微调技术利用DeepSpeed、Lamam Factory等工具快速进行模型微调并通过Ollama、vLLM等推理部署框架实现模型的快速部署。L5阶段专题集丨特训篇 【录播课】四、资料领取全套内容免费抱走学 AI 不用再找第二份不管你是 0 基础想入门 AI 大模型还是有基础想冲刺大厂、了解行业趋势这份资料都能满足你现在只需按照提示操作就能免费领取扫码免费领取全部内容2026 年想抓住 AI 大模型的风口别犹豫这份免费资料就是你的 “起跑线”