1. 为什么我们需要远程服务器和Xshell如果你刚开始接触深度学习可能会觉得在自己的笔记本电脑上跑跑代码就挺好。但很快你就会发现当模型稍微复杂一点数据量稍微大一点自己的电脑就开始“力不从心”了。训练一个模型动辄几小时甚至几天电脑风扇呼呼作响还什么都干不了这体验实在糟糕。这时候远程服务器的优势就体现出来了。实验室或者云服务商提供的服务器通常配备了高性能的GPU比如你听说的1080Ti、3090甚至A100、大内存和高速CPU专门为这种计算密集型任务而生。你的个人电脑只需要承担一个“控制台”的角色写好代码通过一个工具发送到遥远的服务器上运行训练过程和结果再传回来。这样你的笔记本解放了可以继续写文档、看网页而繁重的计算任务则在后台的“大家伙”上默默进行。这个连接你和远程服务器的“桥梁”就是我们今天要用的Xshell。它本质上是一个终端模拟软件可以让你在Windows电脑上用一个熟悉的窗口输入命令来操作远在千里之外的Linux服务器。这感觉就像你坐在了那台服务器的键盘前一样。我刚开始用的时候也觉得挺神奇后来发现这几乎是每个AI开发者的标配技能。所以这篇文章的目标就是带你从零开始完成“连接服务器 - 配置Python科学计算环境 - 搭建深度学习框架”这一整套流程。你不用怕跟着我的步骤一步步来哪怕你之前没怎么用过Linux命令也能搞定。2. 第一步搞定Xshell连接你的“算力堡垒”万事开头难但安装Xshell真的不难。我们一步一步来。2.1 获取并安装Xshell首先你需要去Xshell的官网下载。这里有个小技巧对于家庭和学校用户官方提供了免费版本完全够用。在下载页面通常会要求你填写姓名和邮箱填写后下载链接就会发送到你的邮箱里。这个过程很简单纯粹是走个流程。下载下来的是一个安装包双击运行。安装过程就是典型的“下一步”大法你不需要改动任何默认设置一路点击“Next”直到完成即可。安装好后你的桌面上就会出现Xshell的图标。这一步我相信你闭着眼睛都能完成。2.2 配置连接第一次握手安装好之后打开Xshell你会看到一个空白的界面。别慌我们需要创建一个新的会话Session来连接服务器。点击左上角的“文件” - “新建”或者直接点击工具栏上的“新建”图标。这时会弹出一个会话属性窗口。这里有几个关键信息需要你填写这些信息通常由服务器的管理员比如你的师兄、导师或云服务商提供名称给你这个连接起个名字比如“实验室服务器”、“我的GPU机器”方便自己识别。协议保持默认的“SSH”即可。主机这里填写服务器的IP地址。它就像服务器的门牌号例如192.168.1.100或一个域名。端口号通常是22SSH默认端口。如果管理员没特别说明就用这个。这里我分享一个我踩过的坑网络环境。很多学校的服务器只允许校内网络访问。所以在你点击“连接”之前请务必确认你的电脑连接的是校园网比如连上了学校的Wi-Fi而不是家里的宽带或手机热点否则连接肯定会失败提示“连接被拒绝”或“超时”。填好之后点击“连接”。第一次连接某台服务器时Xshell会弹出一个SSH安全警告询问你是否信任这台主机并保存它的密钥。这里点击“接受并保存”就行。这只是一个安全确认步骤不用担心。2.3 登录与初探接下来会弹出窗口让你输入用户名和密码。这个也是管理员给你的。输入后点击确定如果一切顺利你就会看到一个命令行窗口里面可能显示着[你的用户名服务器名 ~]$这样的提示符。恭喜你你已经成功登陆了远程服务器现在这个黑色的窗口就是你的“指挥中心”。你可以在这里输入Linux命令来操控服务器。比如输入ls并按回车可以列出当前目录下的文件和文件夹输入pwd可以查看当前所在的目录路径。别怕敲命令这是和服务器交流的唯一方式多用几次就熟了。Xshell还有一个很实用的功能叫“文件管理器”。点击菜单栏的“查看” - “文件管理器”或者直接用快捷键Alt V再按F会在左侧打开一个类似Windows资源管理器的面板。这里可以图形化地浏览你服务器上的文件上传下载也会更方便。对于不熟悉Linux目录结构的新手来说这个功能简直是救命稻草。3. 第二步为服务器安装Python的“瑞士军刀”——Anaconda成功连接服务器后我们就要开始打造工作环境了。在Linux服务器上我们不推荐直接使用系统自带的Python因为可能会遇到权限问题或者把系统环境搞乱。最佳实践是使用Anaconda它是一个开源的Python发行版集成了大量科学计算包更重要的是它提供了强大的环境管理工具conda可以让你为不同项目创建相互隔离的Python环境互不干扰。3.1 上传安装包WinSCP来帮忙通常我们需要先在本地电脑上下载Anaconda的Linux安装包一个.sh脚本文件然后上传到服务器。因为服务器是纯命令行环境没有浏览器让你直接下载。这里我推荐使用WinSCP这个工具它和Xshell是同一家公司出的搭配使用非常默契。在你的Windows电脑上下载并安装WinSCP。安装过程同样简单。打开WinSCP它的界面分左右两栏。左边是你的本地电脑右边是远程服务器。你需要配置连接信息主机名、用户名、密码这些信息和Xshell里填的一模一样。连接成功后在左边本地文件栏找到你下载好的Anaconda安装包比如Anaconda3-2021.11-Linux-x86_64.sh直接拖拽到右边的服务器目录比如你的家目录~或者/tmp就完成了上传。这个过程就像在Windows里复制粘贴文件一样直观。当然如果你觉得安装新软件麻烦Xshell自带的文件管理器也支持拖拽上传你可以直接把文件从Windows桌面拖到Xshell的文件管理器窗口里试试不过这种方式有时不太稳定尤其是文件较大时。所以WinSCP是更可靠的选择。3.2 执行安装一路“Yes”安装包上传到服务器后我们回到Xshell窗口。首先用cd命令切换到安装包所在的目录比如cd ~。然后使用ls命令确认一下安装包是否存在。接下来执行安装命令bash Anaconda3-2021.11-Linux-x86_64.sh请注意文件名一定要换成你实际下载的版本。敲下回车后安装程序就启动了。安装过程中你会看到很多许可协议的文字一直按回车往下翻就行。然后安装程序会问你几个问题“Do you accept the license terms? [yes|no]”输入yes同意。“Anaconda3 will now be installed into this location...”这里会显示一个安装路径默认是你的家目录下的anaconda3文件夹。除非你有特殊需求否则直接按回车接受默认路径就好。“Do you wish the installer to initialize Anaconda3 by running conda init? [yes|no]”这是最关键的一步一定要输入yes。它的作用是自动帮你配置环境变量让你下次登录时能直接使用conda命令。安装完成后它会提示你“Thank you for installing Anaconda3!”。这时候你可以先关闭当前Xshell窗口然后重新打开一个新的Xshell会话并登录。如果你在命令行提示符的最前面看到了(base)字样那么恭喜你Anaconda已经安装成功并且自动激活了它的基础环境3.3 配置环境变量备用方案虽然安装时选择了conda init通常能自动搞定但了解手动配置的方法能帮你应对意外情况。如果重新登录后没有看到(base)可以手动配置。首先确认Anaconda的安装路径通常是~/anaconda3。然后我们需要将Anaconda的bin目录添加到系统的PATH环境变量中这样系统才能找到conda、python这些命令。echo export PATH~/anaconda3/bin:$PATH ~/.bashrc这条命令的作用是向你的用户配置文件~/.bashrc末尾追加一行文本声明这个路径。接着让这个配置立即生效source ~/.bashrc执行完你应该就能看到(base)提示符了。输入conda --version测试一下如果能显示conda的版本号就说明一切正常。4. 第三步打造专属的PyTorch深度学习环境现在我们有了Anaconda和它的基础base环境。但最佳实践是不要直接在base环境里安装项目所需的包。我们应该为不同的项目创建独立、纯净的虚拟环境。这样做的好处是比如项目A需要PyTorch 1.8项目B需要PyTorch 2.0它们之间不会冲突。今天我们就来创建一个专用于深度学习的PyTorch环境。4.1 为Conda换上一个“中国速度”默认情况下conda从国外的服务器下载包速度可能很慢甚至失败。所以第一步我们把下载源换成国内的镜像站这里以清华大学开源软件镜像站为例速度会飞起。在Xshell中依次执行以下四条命令conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ conda config --set show_channel_urls yes conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/这几条命令做了两件事一是添加了主要的软件包源free和main二是特别添加了PyTorch的镜像源。最后一条--set show_channel_urls yes会让后续安装包时显示具体的下载地址方便你确认是从清华源下载的。4.2 创建并激活虚拟环境接下来我们创建一个名为pytorch的新环境并指定这个环境使用Python 3.8你可以根据需求选择3.9或3.10等版本但要注意与PyTorch版本的兼容性。conda create -n pytorch python3.8执行后conda会解析依赖并列出将要安装的包问你“Proceed ([y]/n)?”输入y回车确认。它会开始下载并安装一个干净的Python 3.8环境。创建完成后激活这个环境conda activate pytorch你会发现命令行提示符从(base)变成了(pytorch)这表示你已经进入了名为“pytorch”的独立小世界之后所有的操作都只影响这个环境。4.3 安装PyTorch及其小伙伴现在到了核心步骤安装PyTorch。这里需要你根据服务器的CUDA版本来选择正确的安装命令。CUDA是NVIDIA显卡的并行计算平台PyTorch需要它来调用GPU进行计算。如何查看CUDA版本呢在命令行输入nvcc --version或者cat /usr/local/cuda/version.txt这会输出类似“CUDA Version 11.3”的信息。记下主版本号比如11.3。然后你需要访问PyTorch的官方网站在它的安装选择器上根据你的系统Linux、包管理器Conda、CUDA版本比如11.3来选择它会生成对应的安装命令。例如对于CUDA 11.3命令可能长这样conda install pytorch torchvision torchaudio cudatoolkit11.3 -c pytorch但是注意最后的-c pytorch表示从PyTorch官方频道下载。由于我们已经配置了清华源并且添加了pytorch的镜像频道为了确保从国内源高速下载我们应该把这个-c pytorch去掉。所以最终的安装命令是conda install pytorch torchvision torchaudio cudatoolkit11.3回车执行确认安装输入y。这个过程会下载几百MB的包有了清华源速度应该很快。4.4 胜利的曙光环境测试安装完成后让我们进行最终测试确保一切就绪。测试Python和PyTorch导入在(pytorch)环境下输入python进入Python交互模式。import torch print(torch.__version__) # 打印PyTorch版本号如果能成功打印出版本号如1.12.1说明PyTorch安装成功。测试GPU是否可用最关键的一步继续在Python交互模式下输入torch.cuda.is_available()如果返回True那么天大的喜讯——你的PyTorch已经成功识别并可以调用服务器的GPU了这意味着你的深度学习模型将可以在强大的显卡上加速运行。 如果返回False先别慌。这可能意味着1) 你安装的是CPU版本的PyTorch2) 服务器CUDA驱动有问题。你可以通过torch.cuda.device_count()查看检测到的GPU数量或者检查安装命令中的cudatoolkit版本是否与系统CUDA版本匹配。至此你已经完成了一个标准的远程服务器深度学习环境搭建。你可以在这个pytorch环境里使用pip或conda安装任何你需要的其他包比如jupyter,pandas,scikit-learn等等它们都会被妥善地安装在这个独立环境中。最后一个小提示当你结束工作关闭Xshell后下次再登录服务器默认会回到(base)环境。只需要再次执行conda activate pytorch就能回到你的深度学习工作空间所有配置和安装的包都在那里等着你。这套流程虽然步骤不少但一旦跑通你就会发现它带来的便利和高效是无可比拟的。