通义千问1.5-1.8B-Chat-GPTQ-Int4入门：Anaconda环境配置与模型调用

通义千问1.5-1.8B-Chat-GPTQ-Int4入门Anaconda环境配置与模型调用刚接触大模型想自己动手跑起来试试结果第一步就被环境依赖、版本冲突给劝退了这感觉我懂。今天咱们就绕开那些复杂的坑用最接地气的方式手把手带你搞定一个专为通义千问1.5-1.8B-Chat-GPTQ-Int4模型准备的Python环境并完成你的第一次模型对话。这篇文章的目标很简单让你在一个干净、独立的“小房间”Anaconda环境里装好所有需要的工具然后写几行代码亲眼看到模型“开口说话”。整个过程就像搭积木一样清晰。1. 为什么需要Anaconda先搞懂环境隔离在开始敲命令之前咱们先花一分钟聊聊为什么非得用Anaconda不可。你可以把Anaconda想象成一个“软件集装箱管理工具”。想象一下你的电脑就像一个大仓库。Python本身以及各种库比如PyTorch、transformers就是不同的货物。如果你把所有货物都胡乱堆在仓库里也就是系统全局环境很快就会出现问题项目A需要PyTorch 1.12项目B需要PyTorch 2.0它们会打架导致谁都跑不起来。Anaconda的作用就是为你的每一个项目创建一个个独立的“集装箱”虚拟环境。在这个集装箱里你可以安装特定版本的Python、PyTorch以及其他任何库它们和仓库里其他货物完全隔离互不干扰。对于运行大模型来说环境隔离尤其重要避免版本冲突模型推理依赖特定版本的PyTorch、CUDA等与您其他项目可能不兼容。保持系统干净不会因为安装或卸载模型相关包而影响您电脑上其他Python程序。便于复现和分享你可以将环境配置导出为一个清单文件其他人能一键复现一模一样的环境。所以咱们的第一步就是创建一个专属的“集装箱”。2. 第一步安装与配置Anaconda如果你已经安装过Anaconda或Miniconda可以跳过这一步直接看下一节。如果还没安装跟着下面的步骤来。2.1 下载Anaconda安装包打开Anaconda的官方网站找到下载页面。选择适合你操作系统的安装包Windows、macOS 或 Linux。对于个人使用选择图形化安装包通常更简单。建议下载Python 3.9或3.10版本的Anaconda安装包这与后续PyTorch等库的兼容性较好。2.2 安装Anaconda安装过程基本是“下一步”到底但有几个关键点需要注意安装路径建议不要安装在包含中文或空格的路径下比如直接使用默认路径或类似D:\Anaconda3这样的路径。高级选项在安装程序的最后一步强烈建议勾选“Add Anaconda3 to my PATH environment variable”将Anaconda3添加到系统PATH环境变量。这能让你在命令行终端如CMD、PowerShell中直接使用conda命令。如果安装时忘了勾选后续需要手动配置会比较麻烦。2.3 验证安装安装完成后打开一个新的命令行终端Windows上可以搜索“Anaconda Prompt”或“CMD”macOS/Linux打开“终端”。输入以下命令如果显示Anaconda的版本信息说明安装成功。conda --version同时你也可以通过下面的命令查看当前已有的环境列表。初始状态下应该只有一个名为base的根环境。conda env list3. 第二步创建专属的模型运行环境现在我们来为通义千问模型创建一个独立的环境。这里我们给环境起名叫qwen_chat并使用Python 3.9。打开命令行终端。执行以下命令创建新环境conda create -n qwen_chat python3.9命令解释create创建新环境。-n qwen_chat指定新环境的名称为qwen_chat。python3.9指定在这个环境中安装Python 3.9。命令行会提示你确认要安装的包输入y并按回车继续。环境创建完成后使用以下命令激活它conda activate qwen_chat激活后你会发现命令行的提示符前面变成了(qwen_chat)这表示你已经进入了这个独立的“集装箱”环境。之后所有包的安装和代码运行都只在这个环境中生效。小提示当你需要退出这个环境回到系统基础环境时可以运行conda deactivate。4. 第三步安装模型推理的核心依赖环境激活后我们就可以在里面“摆放家具”了——安装运行模型必需的Python库。我们将使用pip进行安装。4.1 安装PyTorchPyTorch是模型运行的核心框架。我们需要安装与你的电脑显卡如果有且想用GPU加速或CPU相匹配的版本。首先确认你的显卡是否支持CUDANVIDIA的GPU计算平台。可以在命令行输入nvidia-smi查看。如果显示显卡信息说明支持。记下显示的CUDA版本例如12.1, 11.8。访问PyTorch官方网站使用其提供的安装命令生成器是最稳妥的方式。这里我们给出一个通用的选择如果你有NVIDIA显卡并希望使用GPU加速推荐速度快很多 假设你的CUDA版本是11.8可以安装pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118如果你只有CPU或不想用GPUpip install torch torchvision torchaudio安装完成后可以在Python中简单验证import torch print(torch.__version__) # 打印PyTorch版本 print(torch.cuda.is_available()) # 如果显示True恭喜GPU可用4.2 安装Transformer库和依赖Hugging Face的transformers库是调用和管理预训练模型的瑞士军刀。我们还需要安装accelerate用于优化推理和sentencepiece分词器可能用到。pip install transformers accelerate sentencepiece4.3 安装其他实用工具einops是一个优化张量操作的库很多模型代码会用到。jupyter则是我们后续编写和运行示例代码的笔记本环境。pip install einops jupyter至此核心的软件依赖就安装完毕了。你可以通过pip list命令查看当前环境中已安装的所有包。5. 第四步编写你的第一个模型对话程序环境万事俱备只欠代码。我们不搞复杂的就用一个最简单的脚本来验证模型能否成功调用。这里假设你已经通过某种方式例如从ModelScope或Hugging Face Hub获取了Qwen1.5-1.8B-Chat-GPTQ-Int4模型并放在了本地的./model目录下。5.1 创建并运行Python脚本在你喜欢的位置例如桌面或专门的项目文件夹新建一个文本文件将其重命名为first_chat.py。用记事本或任何代码编辑器如VSCode、PyCharm打开这个文件。将以下代码复制进去# first_chat.py from transformers import AutoModelForCausalLM, AutoTokenizer import torch # 1. 指定模型本地路径 model_path ./model # 请替换为你的模型实际路径 # 2. 加载分词器和模型 # trust_remote_codeTrue 通常对于Qwen系列模型是必须的 print(正在加载分词器...) tokenizer AutoTokenizer.from_pretrained(model_path, trust_remote_codeTrue) print(正在加载模型...这可能需要一点时间...) # 注意GPTQ量化模型通常需要指定 device_mapauto 让transformers自动分配设备CPU/GPU model AutoModelForCausalLM.from_pretrained( model_path, torch_dtypetorch.float16, # 使用半精度以节省内存 device_mapauto, # 自动选择设备 trust_remote_codeTrue ) print(模型加载完毕) # 3. 准备对话 # 使用Qwen-Chat约定的对话格式 messages [ {role: system, content: 你是一个乐于助人的助手。}, {role: user, content: 你好请介绍一下你自己。} ] # 将消息列表转换为模型可接受的文本格式 text tokenizer.apply_chat_template( messages, tokenizeFalse, add_generation_promptTrue ) # 4. 将文本转换为模型输入 model_inputs tokenizer([text], return_tensorspt).to(model.device) # 5. 生成回复 print(\n模型正在思考...) generated_ids model.generate( **model_inputs, max_new_tokens512, # 生成文本的最大长度 do_sampleTrue, # 使用采样以生成更自然的文本 temperature0.6, # 控制随机性越低越确定越高越有创意 top_p0.9 # 核采样参数控制生成词汇的范围 ) # 6. 解码并打印结果 generated_ids [ output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids) ] response tokenizer.batch_decode(generated_ids, skip_special_tokensTrue)[0] print(\n 模型回复 ) print(response) print()重要提示请务必将代码中model_path “./model”这一行里的“./model”替换成你本地存放Qwen1.5-1.8B-Chat-GPTQ-Int4模型文件夹的实际绝对路径。保存文件。在命令行中确保你还在qwen_chat环境下然后导航到存放first_chat.py脚本的目录。例如如果你的脚本在D:\my_ai_project则输入cd D:\my_ai_project运行脚本python first_chat.py如果一切顺利你会先看到“正在加载分词器…”、“正在加载模型…”的提示稍等片刻模型加载时间取决于你的硬盘速度和是否使用GPU就能看到模型生成的自我介绍了5.2 使用Jupyter Notebook进行交互可选如果你更喜欢交互式的编程体验可以使用Jupyter Notebook。在qwen_chat环境下启动Jupyter Notebookjupyter notebook浏览器会自动打开。在界面中新建一个Python笔记本Notebook。将上面first_chat.py中的代码分步骤或一次性复制到Notebook的单元格中。按ShiftEnter逐个单元格运行代码。这种方式特别适合调试和逐步探索模型的反应。6. 总结与后续步骤跟着走完上面这些步骤你应该已经成功在Anaconda的独立环境里配置好了运行通义千问1.5-1.8B-Chat-GPTQ-Int4模型所需的所有依赖并且完成了第一次本地调用。这个过程的核心就是利用Anaconda做好环境隔离然后按部就班地安装几个关键的Python库。第一次运行看到模型输出时感觉应该挺奇妙的。这个1.8B的“小模型”在轻量级任务上反应速度不错对于学习、测试和简单的对话应用来说是个很好的起点。接下来你可以尝试修改代码中的messages内容向模型提出不同的问题观察它的回答。也可以尝试调整temperature、max_new_tokens这些参数看看生成的文本有什么变化。如果遇到模型回答不符合预期或者加载出错最常见的原因就是模型路径不对、缺少依赖库或者PyTorch的CUDA版本与你的显卡不匹配回头检查这几步通常就能解决。环境配置是AI应用开发的第一步也是最容易让人卡住的一步。希望这篇指南帮你平稳地度过了这个阶段。现在你的专属“实验沙箱”已经搭建好了接下来就可以更自由地探索大模型的世界了。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。