1. 从“Torch CUDA is not available”说起一个常见的深度学习“拦路虎”如果你最近刚升级了NVIDIA的显卡驱动或者新装了一台配备了RTX 40系显卡的机器兴冲冲地准备用PyTorch跑个模型试试手结果在代码里敲下torch.cuda.is_available()后屏幕上弹出一个冷冰冰的False那一刻的心情我太懂了。这个“Torch CUDA is not available”的错误可以说是深度学习入门路上的一道经典“门槛”。它背后最常见的原因就是PyTorch的版本和你系统里的CUDA版本对不上号。我自己就踩过好几次这个坑。比如有一次我新装了CUDA 12.6心想用最新的总没错吧结果用官网的pip install torch torchvision torchaudio命令安装完一检测CUDA不可用。当时就有点懵查了半天才发现PyTorch官方发布的稳定版其CUDA版本支持通常是滞后于NVIDIA官方最新版的。CUDA 12.6作为较新的版本PyTorch主线版本比如截至我写这篇文章时还没有直接提供预编译的cu126二进制包。但这并不意味着我们就没法在CUDA 12.6环境下用PyTorch了这里面的门道其实就是版本兼容性的“曲线救国”。简单来说NVIDIA的CUDA版本在设计上保持了很好的向后兼容性。CUDA 12.x系列比如12.1, 12.2, 12.3, 12.4, 12.5, 12.6在驱动层和运行时库层面很大程度上是兼容的。PyTorch官方虽然没直接编译针对CUDA 12.6的包但它编译了针对CUDA 12.1cu121的包。而CUDA 12.6的系统环境通常可以良好地运行为CUDA 12.1编译的PyTorch。这就给我们提供了解决方案安装标记为cu121的PyTorch版本在CUDA 12.6环境下使用。我实测过这个方法在绝大多数情况下都是可行的稳定性很高。当然直接去PyTorch官网下载这些安装包对于国内用户来说速度可能是个“玄学”问题。几KB/s的下载速度一个几百兆的包能下到天荒地老。所以我们今天要聊的核心不仅仅是解决版本兼容还要用最快的速度、最稳的方式把对的PyTorch装到你的机器上。这就要请出我们的“加速神器”——国内镜像源。2. 镜像源不只是加速更是安装成功的保障很多朋友可能对“镜像源”这个词有点陌生你可以把它想象成一个“仓库的本地副本”。PyTorch官方的所有软件包都放在一个国外的“总仓库”里。国内用户访问这个总仓库网络延迟高、带宽小下载自然慢甚至经常中断。而国内的一些高校和机构比如清华大学、上海交通大学、阿里云等会定期从“总仓库”同步这些软件包到自己在国内的服务器上这就形成了一个个“镜像仓库”。使用镜像源的好处显而易见速度飞跃从国内的服务器下载速度通常能达到你的宽带满速几分钟甚至几十秒就能搞定原本需要几小时的下载。稳定性提升避免了跨国网络的不稳定因素连接中断、下载失败的概率大大降低。解决“墙”带来的间接问题虽然我们直接访问PyTorch官网通常没问题但底层依赖的一些域名或下载路径偶尔会抽风镜像源能很好地规避这个问题。那么具体怎么用呢这里涉及到两个层面的镜像配置我建议你都做一劳永逸。2.1 配置pip的全局镜像源pip是Python的包管理工具PyTorch也是通过它来安装的。首先我们把pip的默认下载地址换成国内的。打开你的终端Windows用CMD或PowerShellLinux/macOS用Terminal执行下面这条命令pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple这里我推荐的是清华大学的镜像源它覆盖了Python官方的PyPI仓库里几乎所有的包包括PyTorch的许多依赖项比如numpy,pillow等。执行成功后以后你用pip install安装任何Python包默认都会从这个高速镜像下载基础依赖的安装速度会得到根本性改善。2.2 指定PyTorch专属镜像源仅仅配置PyPI镜像还不够。PyTorch的主包torch,torchvision,torchaudio体积非常大而且它有一个独立的下载站点download.pytorch.org。我们需要在安装PyTorch时显式地告诉pip去国内的镜像站找这些“大家伙”。这里我强烈推荐上海交通大学Linux用户组SJTUG维护的PyTorch镜像。它同步非常及时稳定性极佳。使用方式不是通过pip config设置而是在安装命令后面加上一个-f即--find-links参数来指定。例如一个完整的安装命令会像这样pip install torch2.3.0 torchvision0.18.0 torchaudio2.3.0 -f https://mirror.sjtu.edu.cn/pytorch-wheels/torch_stable.html这个-f参数后面的网址就是交大镜像的PyTorch wheel包索引页面。pip会优先从这个页面列出的链接中去寻找和下载我们指定的torch版本。把这两步结合起来你的PyTorch安装环境就搭建好了基础小包走清华源PyTorch大包走交大源双管齐下速度拉满。3. 手把手实战为CUDA 12.6安装正确的PyTorch理论讲完我们来点实在的。假设你的电脑已经正确安装了CUDA 12.6和对应的cuDNN并且nvcc --version命令能正确显示版本信息。我们的目标就是安装一个能在该环境下正常调用GPU的PyTorch。核心思路安装PyTorch的cu121版本。下面我列出几个主流PyTorch版本的安装命令你可以根据你的需求选择。我建议尤其是新手直接选择最新稳定版目前是2.3.0以获得最好的特性和性能优化。注意所有命令都包含了配置好的交大镜像源你直接复制粘贴到终端运行即可。3.1 安装最新稳定版 PyTorch 2.3.0 CUDA 12.1 (兼容12.6)这是我最推荐的组合新版本通常修复了更多bug性能也更好。pip install torch2.3.0cu121 torchvision0.18.0cu121 torchaudio2.3.0cu121 -f https://mirror.sjtu.edu.cn/pytorch-wheels/torch_stable.html3.2 安装其他稳定版本如果你的项目有特定的版本要求需要和团队或生产环境保持一致可以参考以下命令PyTorch 2.2.0pip install torch2.2.0cu121 torchvision0.17.0cu121 torchaudio2.2.0cu121 -f https://mirror.sjtu.edu.cn/pytorch-wheels/torch_stable.htmlPyTorch 2.1.0pip install torch2.1.0cu121 torchvision0.16.0cu121 torchaudio2.1.0cu121 -f https://mirror.sjtu.edu.cn/pytorch-wheels/torch_stable.htmlPyTorch 2.0.0pip install torch2.0.0cu121 torchvision0.15.1cu121 torchaudio2.0.1cu121 -f https://mirror.sjtu.edu.cn/pytorch-wheels/torch_stable.html执行过程观察当你运行命令后pip会首先从交大镜像源查找符合torch2.3.0cu121这个精确版本的wheel包一种预编译的二进制格式。找到后它会显示一个类似https://mirror.sjtu.edu.cn/pytorch-wheels/cu121/torch-2.3.0%2Bcu121-cp39-cp39-linux_x86_64.whl的链接并开始高速下载。整个过程如果网络正常应该非常流畅。3.3 安装后的验证安装完成后千万别急着关掉终端。我们必须验证一下安装是否真正成功GPU是否能被识别。打开Python交互环境在终端输入python或python3然后逐行输入以下代码import torch print(fPyTorch版本: {torch.__version__}) print(fCUDA是否可用: {torch.cuda.is_available()}) print(f可用的CUDA设备数量: {torch.cuda.device_count()}) print(f当前CUDA设备名称: {torch.cuda.get_device_name(0) if torch.cuda.is_available() else N/A}) print(fCUDA版本运行时: {torch.version.cuda})如果一切顺利你会看到类似这样的输出PyTorch版本: 2.3.0cu121 CUDA是否可用: True 可用的CUDA设备数量: 1 当前CUDA设备名称: NVIDIA GeForce RTX 4090 CUDA版本运行时: 12.1看到CUDA是否可用: True恭喜你大功告成虽然这里显示的CUDA运行时版本是12.1因为安装的是cu121包但它正完美地运行在你的CUDA 12.6驱动之上。你可以开始尽情地使用GPU来加速你的模型训练和推理了。4. 避坑指南你可能遇到的其他问题及解决思路即便按照上面的步骤操作有时候还是会遇到一些“幺蛾子”。这里我分享几个我遇到过或看到别人常问的问题以及我的解决经验。4.1 安装超时或报错 “Could not find a version...”问题描述执行pip install命令后卡在Looking in indexes或Looking in links很久最后报错超时或者直接提示找不到符合要求的版本。可能原因网络暂时性问题镜像源同步延迟或瞬时访问压力大。指定的版本号过于精确而镜像源上恰好没有这个特定版本号的cu121轮子。PyTorch的版本命名有时会很细比如2.3.0cu121和2.3.0cpu是分开的。解决思路重试网络问题最简单的方法就是再试一次。检查镜像源地址确认-f后面的交大镜像地址没有拼写错误。也可以尝试换成其他备用镜像比如中国科学技术大学USTC的镜像-f https://mirrors.ustc.edu.cn/pytorch-wheels/torch_stable.html。放宽版本限制如果实在找不到可以尝试不指定cu121后缀只指定主版本让pip自己选择兼容的、最新的cu121版本。但这样做有一定不确定性不推荐作为首选。pip install torch2.3.0 torchvision0.18.0 torchaudio2.3.0 -f https://mirror.sjtu.edu.cn/pytorch-wheels/torch_stable.html4.2 验证时torch.cuda.is_available()返回 False这是最让人头疼的情况。安装看似成功了但GPU就是认不到。排查步骤确认CUDA驱动安装正确在终端运行nvidia-smi。这个命令能调出来并且显示了你的显卡信息和驱动版本说明NVIDIA驱动是好的。记下驱动版本号。确认PyTorch识别到的CUDA版本在Python中运行print(torch.version.cuda)。如果这里显示None或者一个很老的版本比如10.2那说明你安装的很可能是一个CPU版本的PyTorch而不是cu121版本。检查已安装的包运行pip list | grep torch查看已安装的torch包全称。它应该明确包含cu121字样。如果显示的是torch-2.3.0没有后缀或者cpu那就说明装错了。根本解决如果确认装成了CPU版先用pip uninstall torch torchvision torchaudio彻底卸载然后严格按照第3部分的命令重装确保命令中包含了cu121后缀和交大镜像源-f参数。4.3 环境冲突多个Python环境或包版本冲突问题描述系统里有多个Python比如Anaconda的base环境、自己创建的虚拟环境、系统自带的Python安装时装错了地方或者虚拟环境没激活。解决思路使用虚拟环境我强烈推荐使用conda或venv创建独立的Python虚拟环境。这样每个项目的依赖互不干扰。# 使用conda如果你安装了Anaconda/Miniconda conda create -n pytorch_cuda12 python3.10 conda activate pytorch_cuda12 # 然后再执行上面的pip安装命令 # 使用venvPython自带 python -m venv pytorch_env # Linux/macOS source pytorch_env/bin/activate # Windows pytorch_env\Scripts\activate # 然后再执行上面的pip安装命令确认pip路径在终端输入which pipLinux/macOS或where pipWindows确保你使用的pip命令是属于当前激活的虚拟环境的而不是系统全局的。4.4 关于CUDA 11.8版本的说明你可能注意到在搜索资料或一些旧教程里会提到安装cu118CUDA 11.8版本。这是因为在CUDA 12.x早期PyTorch对12.1的支持还不完善时cu118是一个更稳定、更通用的选择。CUDA 12.6的驱动同样兼容CUDA 11.8的运行时。所以如果你的项目对稳定性要求极高且不追求CUDA 12.x的一些新特性安装cu118版本的PyTorch也是一个完全可行、且经过更长时间测试的备选方案。安装命令只需将上面所有命令中的cu121替换为cu118即可。例如pip install torch2.3.0cu118 torchvision0.18.0cu118 torchaudio2.3.0cu118 -f https://mirror.sjtu.edu.cn/pytorch-wheels/torch_stable.html我个人的经验是对于RTX 40系显卡和CUDA 12.6cu121版本是首选它能更好地发挥新硬件的潜力。但如果遇到一些极其冷门的库或老代码的兼容性问题回退到cu118算是一张“安全牌”。折腾环境是深度学习开发的一部分几乎每个开发者都经历过。关键是要理解背后的逻辑版本对应关系、镜像源的作用、以及如何验证结果。把这次解决Torch CUDA is not available的过程搞明白以后遇到类似的环境配置问题你就能举一反三自己动手排查了。希望这篇详细的指南能帮你顺利跨过这个坑把更多时间花在有趣的模型和算法上而不是和安装包斗智斗勇。如果过程中还有啥奇怪的问题不妨多看看终端报错信息那里面通常藏着解决问题的钥匙。