DeepSeek-R1-Distill-Qwen-1.5B智能对话助手：基于Streamlit的Python部署实战

DeepSeek-R1-Distill-Qwen-1.5B智能对话助手基于Streamlit的Python部署实战想不想在本地电脑上拥有一个属于自己的智能对话助手不用联网不用付费完全在你的掌控之中。今天我就带你用Python和Streamlit框架快速部署一个DeepSeek-R1-Distill-Qwen-1.5B模型的智能对话助手。这个模型虽然只有15亿参数但经过蒸馏优化后在对话、问答、代码生成等任务上表现相当不错而且对硬件要求不高普通带GPU的电脑就能跑起来。更重要的是我们完全用Python来实现不需要复杂的Docker配置也不需要折腾各种命令行工具。如果你对Python有一定了解想体验一下本地大模型部署的乐趣或者想为自己的项目添加一个智能对话功能那这篇文章就是为你准备的。我会从环境配置开始一步步带你完成整个部署过程最后还会教你如何优化界面和功能。1. 环境准备搭建你的AI开发环境在开始之前我们需要准备好运行环境。DeepSeek-R1-Distill-Qwen-1.5B模型虽然不大但还是需要一些基础的AI开发环境。1.1 系统要求和Python环境首先确认你的电脑配置。这个模型对硬件要求相对友好内存至少8GB RAM建议16GB以上存储空间模型文件大约6-7GB加上Python环境和依赖建议预留15GB空间GPU可选但推荐如果有NVIDIA GPU速度会快很多。显存4GB以上就能跑8GB以上体验更好操作系统Windows、macOS、Linux都可以我这里以Ubuntu 22.04为例其他系统操作类似Python版本建议使用3.8到3.11之间的版本。太老的版本可能缺少一些必要的库太新的版本可能会有兼容性问题。你可以用下面的命令检查Python版本python --version # 或者 python3 --version如果还没有安装Python建议去Python官网下载安装。安装完成后最好创建一个虚拟环境这样可以避免不同项目之间的依赖冲突。1.2 安装必要的Python库我们需要安装几个核心的Python库。打开终端或命令行执行以下命令# 创建虚拟环境可选但推荐 python -m venv deepseek_env # 激活虚拟环境 # Windows: deepseek_env\Scripts\activate # Linux/macOS: source deepseek_env/bin/activate # 安装核心依赖 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # 如果有CUDA 11.8 # 如果没有GPU或者CUDA版本不同可以用CPU版本 # pip install torch torchvision torchaudio pip install transformers4.35.0 pip install streamlit1.28.0 pip install accelerate0.24.0 pip install sentencepiece0.1.99 # 分词器需要 pip install tiktoken0.5.0 # 用于token计数这里解释一下各个库的作用torchPyTorch深度学习框架模型运行的基础transformersHugging Face的模型库提供了加载和使用各种预训练模型的接口streamlit我们用来构建Web界面的框架非常简单易用accelerate加速库可以优化模型加载和推理速度sentencepiece和tiktoken分词相关的库处理文本输入输出如果你在安装过程中遇到网络问题可以尝试使用国内的镜像源pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch transformers streamlit1.3 下载模型文件模型文件比较大我们需要从Hugging Face下载。有两种方式可以选择方式一使用transformers自动下载推荐这种方式最简单代码运行时会自动下载模型。但第一次运行时会比较慢因为要下载6-7GB的文件。方式二手动下载模型文件如果你网络不太稳定或者想控制下载过程可以手动下载# 安装git-lfs大文件支持 # Ubuntu/Debian: sudo apt-get install git-lfs # macOS: brew install git-lfs # 初始化git-lfs git lfs install # 克隆模型仓库 git clone https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B手动下载的好处是可以看到下载进度而且下载一次后可以重复使用。下载完成后记得记下模型文件的路径后面加载模型时会用到。2. 核心代码实现让模型跑起来环境准备好了现在我们来写代码。我会把整个实现分成几个部分这样更容易理解和调试。2.1 模型加载模块首先创建一个Python文件比如叫model_loader.py专门处理模型的加载和初始化import torch from transformers import AutoTokenizer, AutoModelForCausalLM import logging from typing import Optional # 设置日志 logging.basicConfig(levellogging.INFO) logger logging.getLogger(__name__) class DeepSeekModel: DeepSeek-R1-Distill-Qwen-1.5B模型加载和管理类 def __init__(self, model_path: str deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B, device: Optional[str] None): 初始化模型 Args: model_path: 模型路径可以是Hugging Face模型ID或本地路径 device: 指定运行设备如cuda, cpu为None时自动选择 self.model_path model_path self.device device if device else (cuda if torch.cuda.is_available() else cpu) self.model None self.tokenizer None self.is_loaded False def load_model(self): 加载模型和分词器 try: logger.info(f开始加载模型路径: {self.model_path}) logger.info(f使用设备: {self.device}) # 加载分词器 logger.info(加载分词器...) self.tokenizer AutoTokenizer.from_pretrained( self.model_path, trust_remote_codeTrue ) # 设置pad_token避免生成时出错 if self.tokenizer.pad_token is None: self.tokenizer.pad_token self.tokenizer.eos_token # 加载模型 logger.info(加载模型...) self.model AutoModelForCausalLM.from_pretrained( self.model_path, torch_dtypetorch.float16 if self.device cuda else torch.float32, device_mapauto if self.device cuda else None, trust_remote_codeTrue ) # 如果指定了设备但不是自动映射移动模型到指定设备 if self.device ! cuda or auto not in str(self.model.hf_device_map): self.model self.model.to(self.device) self.model.eval() # 设置为评估模式 self.is_loaded True logger.info(模型加载完成) # 打印模型信息 total_params sum(p.numel() for p in self.model.parameters()) logger.info(f模型参数量: {total_params:,}) if self.device cuda: logger.info(fGPU显存使用: {torch.cuda.memory_allocated() / 1024**3:.2f} GB) except Exception as e: logger.error(f模型加载失败: {str(e)}) raise def generate_response(self, prompt: str, max_length: int 512, temperature: float 0.7, top_p: float 0.9) - str: 生成回复 Args: prompt: 输入提示 max_length: 生成的最大长度 temperature: 温度参数控制随机性 top_p: 核采样参数 Returns: 生成的回复文本 if not self.is_loaded: raise RuntimeError(模型未加载请先调用load_model()) try: # 准备输入 messages [{role: user, content: prompt}] text self.tokenizer.apply_chat_template( messages, tokenizeFalse, add_generation_promptTrue ) # 编码输入 inputs self.tokenizer(text, return_tensorspt) inputs {k: v.to(self.device) for k, v in inputs.items()} # 生成回复 with torch.no_grad(): outputs self.model.generate( **inputs, max_new_tokensmax_length, temperaturetemperature, top_ptop_p, do_sampleTrue, pad_token_idself.tokenizer.pad_token_id, eos_token_idself.tokenizer.eos_token_id, repetition_penalty1.1 ) # 解码输出 response self.tokenizer.decode(outputs[0][inputs[input_ids].shape[1]:], skip_special_tokensTrue) return response.strip() except Exception as e: logger.error(f生成回复失败: {str(e)}) return f生成回复时出错: {str(e)} def unload_model(self): 卸载模型释放内存 if self.model is not None: del self.model self.model None if self.tokenizer is not None: del self.tokenizer self.tokenizer None self.is_loaded False if self.device cuda: torch.cuda.empty_cache() logger.info(模型已卸载内存已释放)这个类封装了模型加载、推理和卸载的完整流程。有几个关键点需要注意设备选择代码会自动检测是否有GPU可用优先使用GPU内存管理使用float16精度可以减少显存占用生成完成后可以手动释放内存错误处理每个步骤都有try-catch避免程序崩溃聊天模板使用tokenizer的apply_chat_template方法确保输入格式符合模型要求2.2 Streamlit界面开发接下来创建主应用文件app.py使用Streamlit构建Web界面import streamlit as st import time from model_loader import DeepSeekModel import sys import os # 页面配置 st.set_page_config( page_titleDeepSeek智能助手, page_icon, layoutwide, initial_sidebar_stateexpanded ) # 自定义CSS样式 st.markdown( style .main-header { font-size: 2.5rem; color: #1E88E5; text-align: center; margin-bottom: 2rem; } .response-box { background-color: #f0f2f6; padding: 1.5rem; border-radius: 10px; margin: 1rem 0; border-left: 5px solid #1E88E5; } .user-message { background-color: #E3F2FD; padding: 1rem; border-radius: 10px; margin: 0.5rem 0; } .assistant-message { background-color: #F5F5F5; padding: 1rem; border-radius: 10px; margin: 0.5rem 0; } .stButton button { width: 100%; background-color: #1E88E5; color: white; } .stButton button:hover { background-color: #1565C0; } /style , unsafe_allow_htmlTrue) # 初始化session state if model not in st.session_state: st.session_state.model None if messages not in st.session_state: st.session_state.messages [] if model_loaded not in st.session_state: st.session_state.model_loaded False def load_model_callback(): 加载模型的回调函数 try: with st.spinner(正在加载模型这可能需要几分钟...): # 获取用户选择的模型路径 model_path st.session_state.model_path_input # 初始化模型 st.session_state.model DeepSeekModel(model_pathmodel_path) st.session_state.model.load_model() st.session_state.model_loaded True st.success(模型加载成功) time.sleep(1) st.rerun() except Exception as e: st.error(f模型加载失败: {str(e)}) def unload_model_callback(): 卸载模型的回调函数 if st.session_state.model and st.session_state.model_loaded: st.session_state.model.unload_model() st.session_state.model None st.session_state.model_loaded False st.session_state.messages [] st.success(模型已卸载) st.rerun() def clear_chat_callback(): 清空聊天记录 st.session_state.messages [] st.rerun() def generate_response(): 生成回复 if not st.session_state.model_loaded: st.warning(请先加载模型) return user_input st.session_state.user_input if not user_input.strip(): return # 添加用户消息到历史 st.session_state.messages.append({ role: user, content: user_input, time: time.strftime(%H:%M:%S) }) # 清空输入框 st.session_state.user_input # 生成回复 with st.spinner(思考中...): try: response st.session_state.model.generate_response( promptuser_input, max_lengthst.session_state.max_length, temperaturest.session_state.temperature, top_pst.session_state.top_p ) # 添加助手回复到历史 st.session_state.messages.append({ role: assistant, content: response, time: time.strftime(%H:%M:%S) }) except Exception as e: st.error(f生成回复时出错: {str(e)}) # 侧边栏 - 模型配置 with st.sidebar: st.header(⚙ 模型配置) # 模型路径输入 st.subheader(模型路径) model_path_options { Hugging Face在线模型: deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B, 本地模型需手动下载: ./DeepSeek-R1-Distill-Qwen-1.5B } selected_option st.selectbox( 选择模型来源, list(model_path_options.keys()), keymodel_source ) st.session_state.model_path_input model_path_options[selected_option] # 加载/卸载按钮 col1, col2 st.columns(2) with col1: if not st.session_state.model_loaded: if st.button( 加载模型, keyload_btn, use_container_widthTrue): load_model_callback() else: if st.button( 卸载模型, keyunload_btn, use_container_widthTrue): unload_model_callback() with col2: if st.button( 清空对话, keyclear_btn, use_container_widthTrue): clear_chat_callback() # 参数调节 st.divider() st.subheader(生成参数) st.session_state.max_length st.slider( 最大生成长度, min_value64, max_value2048, value512, step64, help控制生成文本的最大长度 ) st.session_state.temperature st.slider( 温度, min_value0.1, max_value2.0, value0.7, step0.1, help值越高越有创意值越低越保守 ) st.session_state.top_p st.slider( Top-p采样, min_value0.1, max_value1.0, value0.9, step0.05, help控制生成多样性的参数 ) # 系统信息 st.divider() st.subheader(系统信息) if st.session_state.model_loaded: st.success( 模型已加载) device GPU if torch.cuda.is_available() else CPU st.info(f运行设备: {device}) if torch.cuda.is_available(): gpu_mem torch.cuda.memory_allocated() / 1024**3 st.info(fGPU显存: {gpu_mem:.2f} GB) else: st.warning( 模型未加载) # 主界面 st.markdown(h1 classmain-header DeepSeek智能对话助手/h1, unsafe_allow_htmlTrue) # 聊天历史显示 chat_container st.container() with chat_container: for message in st.session_state.messages: if message[role] user: st.markdown(f div classuser-message strong 你 ({message[time]}):/strongbr {message[content]} /div , unsafe_allow_htmlTrue) else: st.markdown(f div classassistant-message strong 助手 ({message[time]}):/strongbr {message[content]} /div , unsafe_allow_htmlTrue) # 输入区域 st.divider() input_col1, input_col2 st.columns([6, 1]) with input_col1: user_input st.text_area( 输入你的问题或指令, height100, keyuser_input, placeholder输入你想问的问题然后按CtrlEnter发送..., label_visibilitycollapsed ) with input_col2: st.write() # 占位 st.write() # 占位 if st.button(发送, keysend_btn, use_container_widthTrue): generate_response() # 使用说明 with st.expander( 使用说明, expandedFalse): st.markdown( ### 快速开始指南 1. **加载模型**在左侧边栏选择模型来源点击加载模型按钮 2. **开始对话**在下方输入框输入问题点击发送或按CtrlEnter 3. **调节参数**在侧边栏可以调整生成参数获得不同的回复效果 ### 参数说明 - **最大生成长度**控制回复的长度太长可能影响速度 - **温度**控制随机性低温度更保守准确高温度更有创意 - **Top-p采样**控制多样性值越小回复越集中 ### 示例问题 - 帮我写一个Python函数计算斐波那契数列 - 解释一下什么是机器学习 - 用简单的语言说明量子计算 - 写一个关于人工智能的短故事 ### 注意事项 - 首次加载模型需要下载约6-7GB的文件请耐心等待 - 如果使用GPU确保显存足够至少4GB - 长时间使用后可以卸载模型释放内存 ) # 底部信息 st.divider() st.caption( 提示这是一个本地运行的AI助手所有对话数据都保存在你的电脑上不会上传到任何服务器。)这个Streamlit应用包含了完整的用户界面主要特点有响应式设计使用Streamlit的列布局适应不同屏幕尺寸美观的聊天界面用户和助手的消息用不同颜色区分有时间戳完整的控制功能可以加载/卸载模型、清空对话、调节参数实时状态显示显示模型加载状态、运行设备等信息详细的帮助文档折叠面板中包含使用说明和示例2.3 运行和测试现在我们可以运行这个应用了。在终端中执行streamlit run app.pyStreamlit会自动打开浏览器显示我们的应用界面。第一次运行时的流程在侧边栏选择模型来源建议先用在线模型测试点击加载模型按钮等待模型下载和加载加载完成后在输入框输入问题点击发送或按CtrlEnter等待回复你可以尝试问一些问题比如用Python写一个快速排序算法解释一下Transformer模型的工作原理给我讲一个关于太空探索的故事如果一切正常你应该能看到模型生成的回复。第一次生成可能会比较慢因为模型需要预热。后续的生成会快很多。3. 功能扩展和优化基础功能已经实现了但我们可以做得更好。下面是一些扩展和优化的建议。3.1 添加流式输出当前的实现是等待整个回复生成完成后才显示对于长文本来说体验不够好。我们可以改成流式输出像ChatGPT那样一个字一个字地显示def generate_response_stream(prompt: str, max_length: int 512, temperature: float 0.7, top_p: float 0.9): 流式生成回复 if not st.session_state.model_loaded: yield 请先加载模型 return try: # 准备输入 messages [{role: user, content: prompt}] text st.session_state.model.tokenizer.apply_chat_template( messages, tokenizeFalse, add_generation_promptTrue ) # 编码输入 inputs st.session_state.model.tokenizer(text, return_tensorspt) inputs {k: v.to(st.session_state.model.device) for k, v in inputs.items()} # 流式生成 with torch.no_grad(): generated_tokens [] for token in st.session_state.model.model.generate( **inputs, max_new_tokensmax_length, temperaturetemperature, top_ptop_p, do_sampleTrue, pad_token_idst.session_state.model.tokenizer.pad_token_id, eos_token_idst.session_state.model.tokenizer.eos_token_id, repetition_penalty1.1, streamerNone # 可以自定义streamer ): generated_tokens.append(token) # 解码当前所有token current_text st.session_state.model.tokenizer.decode( generated_tokens, skip_special_tokensTrue ) yield current_text except Exception as e: yield f生成回复时出错: {str(e)}然后在界面中我们可以创建一个专门显示流式输出的区域# 在生成回复的函数中修改 response_placeholder st.empty() full_response for chunk in generate_response_stream(user_input): full_response chunk response_placeholder.markdown(f div classassistant-message strong 助手:/strongbr {full_response} /div , unsafe_allow_htmlTrue) time.sleep(0.01) # 稍微延迟让显示更平滑3.2 添加对话历史管理当前的对话历史只保存在session state中页面刷新就会丢失。我们可以添加保存和加载功能import json from datetime import datetime def save_chat_history(filenameNone): 保存聊天历史到文件 if not filename: timestamp datetime.now().strftime(%Y%m%d_%H%M%S) filename fchat_history_{timestamp}.json history { model: st.session_state.model_path_input, timestamp: datetime.now().isoformat(), messages: st.session_state.messages } with open(filename, w, encodingutf-8) as f: json.dump(history, f, ensure_asciiFalse, indent2) return filename def load_chat_history(file): 从文件加载聊天历史 try: with open(file, r, encodingutf-8) as f: history json.load(f) st.session_state.messages history.get(messages, []) st.success(f聊天历史已加载: {file}) st.rerun() except Exception as e: st.error(f加载失败: {str(e)})然后在侧边栏添加相应的按钮# 在侧边栏添加 st.divider() st.subheader(聊天历史) col1, col2 st.columns(2) with col1: if st.button( 保存对话, use_container_widthTrue): filename save_chat_history() st.success(f已保存到: {filename}) with col2: uploaded_file st.file_uploader( 加载历史, type[json], label_visibilitycollapsed) if uploaded_file is not None: # 保存上传的文件到临时位置 temp_path ftemp_{uploaded_file.name} with open(temp_path, wb) as f: f.write(uploaded_file.getbuffer()) load_chat_history(temp_path) os.remove(temp_path) # 清理临时文件3.3 添加模型性能监控为了了解模型的运行状况我们可以添加一些监控功能import psutil import GPUtil def get_system_info(): 获取系统信息 info {} # CPU和内存信息 info[cpu_percent] psutil.cpu_percent() info[memory_percent] psutil.virtual_memory().percent info[memory_used_gb] psutil.virtual_memory().used / 1024**3 # GPU信息如果有 try: gpus GPUtil.getGPUs() if gpus: gpu gpus[0] info[gpu_name] gpu.name info[gpu_load] gpu.load * 100 info[gpu_memory_used] gpu.memoryUsed info[gpu_memory_total] gpu.memoryTotal info[gpu_memory_percent] gpu.memoryUtil * 100 except: info[gpu_name] 未检测到GPU # 模型信息 if st.session_state.model_loaded and st.session_state.model.model: info[model_device] str(st.session_state.model.device) if torch.cuda.is_available(): info[cuda_memory_allocated] torch.cuda.memory_allocated() / 1024**3 info[cuda_memory_reserved] torch.cuda.memory_reserved() / 1024**3 return info # 在侧边栏显示监控信息 if st.session_state.model_loaded: st.divider() st.subheader( 系统监控) if st.button(刷新监控, keyrefresh_monitor): st.rerun() info get_system_info() # 创建两列显示 col1, col2 st.columns(2) with col1: st.metric(CPU使用率, f{info[cpu_percent]:.1f}%) st.metric(内存使用, f{info[memory_used_gb]:.1f} GB, f{info[memory_percent]:.1f}%) with col2: if gpu_name in info and info[gpu_name] ! 未检测到GPU: st.metric(GPU负载, f{info[gpu_load]:.1f}%) st.metric(GPU显存, f{info[gpu_memory_used]:.1f}/{info[gpu_memory_total]} GB, f{info[gpu_memory_percent]:.1f}%)3.4 添加预设提示词模板为了让用户更方便地使用我们可以添加一些预设的提示词模板PRESET_PROMPTS { 代码生成: { Python排序算法: 用Python实现一个快速排序算法并添加详细的注释说明每一步的作用。, 网页爬虫: 写一个Python爬虫用于爬取新闻网站的头条新闻要求使用requests和BeautifulSoup。, 数据处理: 用pandas写一个数据清洗函数处理缺失值、重复值和异常值。 }, 学习助手: { 机器学习解释: 用简单的语言解释什么是机器学习并举一个生活中的例子。, 神经网络基础: 解释神经网络的基本原理适合初学者理解。, 编程概念: 解释什么是递归并给出一个简单的例子。 }, 创意写作: { 故事开头: 写一个关于人工智能获得自我意识的故事开头要吸引人。, 产品描述: 为一个智能咖啡机写一段吸引人的产品描述。, 邮件写作: 写一封给客户的感谢邮件语气要专业且友好。 } } # 在侧边栏添加预设提示词 st.divider() st.subheader( 预设提示词) category st.selectbox(选择类别, list(PRESET_PROMPTS.keys())) if category: prompt_name st.selectbox(选择提示词, list(PRESET_PROMPTS[category].keys())) if st.button(使用此提示词, use_container_widthTrue): selected_prompt PRESET_PROMPTS[category][prompt_name] st.session_state.user_input selected_prompt st.rerun()4. 部署和分享完成开发后你可能想分享给其他人使用或者部署到服务器上。这里有几个选项4.1 本地分享Streamlit支持在局域网内分享应用streamlit run app.py --server.port 8501 --server.address 0.0.0.0这样同一局域网内的其他设备就可以通过你的IP地址和端口访问应用了。4.2 打包为可执行文件使用PyInstaller可以将应用打包为独立的可执行文件pip install pyinstaller # 创建打包脚本 echo import streamlit.web.cli as stcli import sys if __name__ __main__: sys.argv [streamlit, run, app.py, --server.port8501] sys.exit(stcli.main()) run_app.py # 打包 pyinstaller --onefile --add-data model_loader.py:. run_app.py打包后的文件可以在没有Python环境的电脑上运行但模型文件需要单独提供。4.3 部署到云服务器如果你有云服务器可以部署为长期运行的服务安装依赖在服务器上安装Python和依赖库下载模型提前下载好模型文件使用进程管理使用systemd或supervisor管理进程配置反向代理使用Nginx作为反向代理支持HTTPS创建一个systemd服务文件# /etc/systemd/system/deepseek-assistant.service [Unit] DescriptionDeepSeek Assistant Afternetwork.target [Service] Typesimple Userubuntu WorkingDirectory/path/to/your/app EnvironmentPATH/home/ubuntu/deepseek_env/bin ExecStart/home/ubuntu/deepseek_env/bin/streamlit run app.py --server.port 8501 Restartalways [Install] WantedBymulti-user.target然后启动服务sudo systemctl daemon-reload sudo systemctl enable deepseek-assistant sudo systemctl start deepseek-assistant5. 总结通过这篇文章我们完成了一个完整的DeepSeek-R1-Distill-Qwen-1.5B智能对话助手的本地部署。从环境准备到模型加载从界面开发到功能扩展我们一步步实现了这个项目。这个项目的亮点在于它的完整性和实用性。你不仅学到了如何加载和使用大语言模型还掌握了用Streamlit构建Web应用的方法。更重要的是这个应用是完全可用的你可以根据自己的需求进行修改和扩展。实际使用下来这个1.5B的蒸馏模型在大多数日常对话和编程任务上表现不错响应速度也很快。虽然它可能无法处理特别复杂或专业的问题但对于学习和日常使用来说已经足够了。如果你在部署过程中遇到问题或者想进一步优化可以考虑以下几个方面首先是模型性能可以尝试量化技术来减少内存占用其次是用户体验可以添加更多交互功能最后是部署方案可以考虑容器化部署以便更好地管理依赖。希望这个项目能帮助你更好地理解大模型部署的流程也期待看到你基于这个框架开发出更有趣的应用。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。