DeepSeek-R1-Distill-Qwen-1.5B部署教程Ubuntu 22.04 Python 3.10 环境实测1. 项目简介DeepSeek-R1-Distill-Qwen-1.5B是一个超轻量级的智能对话模型专门为本地化部署设计。这个模型结合了DeepSeek优秀的逻辑推理能力和Qwen成熟的模型架构经过蒸馏优化后在保持强大功能的同时大幅降低了计算资源需求。最吸引人的是这个模型只有1.5B参数完全可以在普通显卡甚至CPU环境下流畅运行。我们基于Streamlit搭建了可视化聊天界面让你无需任何技术背景就能轻松使用。所有对话处理都在本地完成完全保障你的数据隐私安全。这个模型特别擅长逻辑推理、数学解题、代码编写等需要思考过程的任务。它会自动将思考过程结构化展示让你清晰看到AI的推理逻辑。无论是学习辅导、工作协助还是日常咨询都能提供专业级的智能对话体验。2. 环境准备与安装2.1 系统要求首先确保你的Ubuntu 22.04系统已经就绪操作系统Ubuntu 22.04 LTSPython版本Python 3.10或更高版本内存要求至少8GB RAM推荐16GB存储空间10GB可用空间用于模型文件显卡可选有GPU更好但没有也能运行2.2 安装必要的依赖打开终端逐行执行以下命令# 更新系统包列表 sudo apt update # 安装Python开发工具 sudo apt install python3.10 python3.10-venv python3.10-dev # 创建项目目录 mkdir deepseek-chat cd deepseek-chat # 创建Python虚拟环境 python3.10 -m venv venv # 激活虚拟环境 source venv/bin/activate2.3 安装Python依赖在虚拟环境中安装所需的Python包# 安装核心依赖 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu # 安装模型相关依赖 pip install transformers streamlit # 安装其他工具包 pip install numpy pandas matplotlib3. 模型部署与配置3.1 下载模型文件确保模型文件已经放置在正确路径。如果你从魔塔平台下载了模型应该已经有以下结构/root/ds_1.5b/ ├── config.json ├── generation_config.json ├── model.safetensors ├── special_tokens_map.json ├── tokenizer_config.json └── tokenizer.json3.2 创建Streamlit应用创建一个名为app.py的文件内容如下import streamlit as st from transformers import AutoModelForCausalLM, AutoTokenizer import torch # 设置页面标题 st.set_page_config(page_titleDeepSeek智能助手, page_icon) # 缓存加载模型和分词器 st.cache_resource def load_model(): model_path /root/ds_1.5b tokenizer AutoTokenizer.from_pretrained(model_path) model AutoModelForCausalLM.from_pretrained( model_path, device_mapauto, torch_dtypeauto ) return model, tokenizer # 加载模型 with st.spinner(正在加载模型请稍候...): model, tokenizer load_model() # 初始化对话历史 if messages not in st.session_state: st.session_state.messages [] # 侧边栏设置 with st.sidebar: st.title(设置) if st.button( 清空对话): st.session_state.messages [] torch.cuda.empty_cache() if torch.cuda.is_available() else None st.rerun() # 显示对话历史 for message in st.session_state.messages: with st.chat_message(message[role]): st.markdown(message[content]) # 用户输入 if prompt : st.chat_input(考考 DeepSeek R1...): # 添加用户消息 st.session_state.messages.append({role: user, content: prompt}) with st.chat_message(user): st.markdown(prompt) # 生成回复 with st.chat_message(assistant): with st.spinner(思考中...): # 准备输入 messages [{role: user, content: prompt}] text tokenizer.apply_chat_template( messages, tokenizeFalse, add_generation_promptTrue ) # 生成参数设置 inputs tokenizer(text, return_tensorspt) with torch.no_grad(): outputs model.generate( inputs.input_ids, max_new_tokens2048, temperature0.6, top_p0.95, do_sampleTrue ) # 解码并处理输出 response tokenizer.decode(outputs[0], skip_special_tokensTrue) response response.replace(|im_start|assistant\n, ).replace(|im_end|, ) # 格式化思考过程 if |think| in response: think_part, answer_part response.split(|think|, 1) think_part think_part.replace(|im_start|think\n, ).strip() answer_part answer_part.replace(|im_end|, ).strip() st.markdown(f**思考过程**\n{think_part}) st.markdown(f**最终回答**\n{answer_part}) full_response f**思考过程**\n{think_part}\n\n**最终回答**\n{answer_part} else: st.markdown(response) full_response response # 添加助手回复 st.session_state.messages.append({role: assistant, content: full_response})4. 启动与使用指南4.1 启动服务在终端中运行以下命令启动服务# 激活虚拟环境 source venv/bin/activate # 启动Streamlit应用 streamlit run app.py --server.port 8501 --server.address 0.0.0.0首次启动时系统会加载模型文件这个过程可能需要10-30秒。你会看到终端显示加载进度 Loading: /root/ds_1.5b加载完成后终端会显示访问地址通常是http://localhost:85014.2 开始对话打开浏览器访问显示地址你会看到简洁的聊天界面输入问题在底部输入框输入你的问题比如如何用Python计算斐波那契数列查看回复模型会先展示思考过程然后给出最终答案继续对话可以基于之前的对话继续提问模型会记住上下文清空对话点击侧边栏的清空按钮可以开始新的话题4.3 实用技巧为了让对话效果更好可以试试这些技巧明确问题尽量具体描述你的需求分步提问复杂问题可以拆分成几个小问题提供上下文如果是延续之前的话题可以简单提及使用示例让模型参考某个例子来回答5. 常见问题解决5.1 模型加载失败如果模型加载失败检查以下几点# 检查模型路径是否正确 ls -la /root/ds_1.5b/ # 检查文件权限 chmod -R 755 /root/ds_1.5b/5.2 内存不足问题如果遇到内存不足可以尝试# 在代码中添加内存优化选项 model AutoModelForCausalLM.from_pretrained( model_path, device_mapauto, torch_dtypeauto, low_cpu_mem_usageTrue # 添加内存优化 )5.3 响应速度慢如果响应速度较慢可以调整生成参数# 减少生成长度 outputs model.generate( inputs.input_ids, max_new_tokens1024, # 减少生成长度 temperature0.7, top_p0.9 )6. 效果展示与体验在实际测试中这个模型展现出了令人印象深刻的能力数学解题示例输入解方程2x 3 7输出清晰的步骤推理和最终答案代码编写示例输入写一个Python函数来反转字符串输出完整的函数代码和简要说明逻辑推理示例输入如果所有猫都喜欢鱼而Tom是一只猫那么Tom喜欢鱼吗输出逻辑推理过程和结论模型会自动将思考过程结构化展示让你看到AI是如何一步步得出结论的。这种透明化的推理过程不仅有助于理解还能帮助学习复杂的思维方法。7. 总结通过这个教程你已经成功在Ubuntu 22.04上部署了DeepSeek-R1-Distill-Qwen-1.5B模型。这个超轻量级的智能对话系统具有以下优势完全本地化所有数据处理都在本地保障隐私安全易于部署简单的几个步骤就能完成安装配置资源友好1.5B参数规模普通硬件也能流畅运行功能强大擅长逻辑推理、代码编写、数学解题等任务用户体验好直观的聊天界面无需技术背景就能使用无论是个人学习、工作辅助还是技术研究这个系统都能提供高质量的智能对话体验。而且完全免费无需担心API调用费用或数据隐私问题。现在就开始你的本地智能对话之旅吧如果有任何问题欢迎查阅相关文档或寻求社区帮助。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。