本文适用于Jetson Nano、TX1/TX2、Xavier 和 Orin系列的设备供大家参考。1、PyTorch不同版本安装这里适用于Jetson Nano、TX1/TX2、Xavier 和 Orin 需要JetPack 4.2以上。下载地址PyTorch for Jetson - Jetson Embedded Systems / Announcements - NVIDIA Developer Forums这些pip wheel 是为 ARM aarch64 架构构建的下载后是一个xxx.whl文件然后用 pip install xxx.whl 进行安装就可以啦~比如安装torch 2.3可以选择两个版本CUDA12.2、或者CUDA12.4需要注意的是 JetPack对应的版本是6才能安装torch 2.3如果上面网址中没找到最新的torch版本请参考下面的网址1https://pypi.jetson-ai-lab.io/选择对应的库请参考下面的网址2https://pypi.jetson-ai-lab.dev/比如系统的CUDA版本是12.6的点击进去进行查找然后搜索一个关键字比如“torch”就可以下载啦2、Jetson 安装 Conda推荐清华源下载地址https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/选择aarch64架构的然后下载运行安装就可以啦~或者去官网下载也是可以的https://www.anaconda.com/download/success3、适用于Jetson的AI容器开源地址https://github.com/dusty-nv/jetson-containers/tree/master通过构建docker为 NVIDIA Jetson 提供最新的 AI/ML 软件包下面是一些主流的模型和框架完整列表可以参阅 packages 目录MLpytorch tensorflow jax onnxruntime deepstream holoscan CTranslate2 JupyterLabLLMSGLang vLLM MLC AWQ transformers text-generation-webui ollama llama.cpp llama-factory exllama AutoGPTQ FlashAttention DeepSpeed bitsandbytes xformersVLMllava llama-vision VILA LITA NanoLLM ShapeLLM Prismatic xtunerVITNanoOWL NanoSAM Segment Anything (SAM) Track Anything (TAM) clip_trtRAGllama-index langchain jetson-copilot NanoDB FAISS RAFTL4Tl4t-pytorch l4t-tensorflow l4t-ml l4t-diffusion l4t-text-generationCUDAcupy cuda-python pycuda numba opencv:cuda cudf cumlRoboticsCosmos Genesis ROS LeRobot OpenVLA 3D Diffusion Policy Crossformer MimicGen OpenDroneMap ZEDGraphicsstable-diffusion-webui comfyui nerfstudio meshlab pixsfm gsplatMambamamba mambavision cobra dimba videomambasuiteSpeechwhisper whisper_trt piper riva audiocraft voicecraft xttsHome/IoThomeassistant-core wyoming-whisper wyoming-openwakeword wyoming-piper下面是一些示例demo在 NVIDIA Jetson AGX Orin 上使用 LLaVA-1.5 13B 进行多模态语音聊天容器NanoLLM在 NVIDIA Jetson AGX Orin 上与 Llama-2-70B 进行交互式语音聊天容器NanoLLM)NVIDIA Jetson 上的实时多模态 VectorDB容器nanodb)Live Llava 2.0 - Jetson Orin 上的 VILA 多模态 NanoDB容器NanoLLM4、Jetson 部署推理开源地址https://github.com/dusty-nv/jetson-inference?tabreadme-ov-file该项目使用TensorRT在 C 或 Python 的 GPU 上运行优化网络并使用 PyTorch 训练模型。支持的 DNN 视觉基元包括用于图像分类的 imageNet、用于对象检测的 detectNet、用于语义分割的 segNet、用于姿势估计的 poseNet 和用于动作识别的 actionNet。提供了从实时摄像机源进行流式传输、使用 WebRTC 制作 Web 应用程序以及支持 ROS/ROS2 的示例。下面是不同视觉任务的推理代码参考文档CPythonImage RecognitionimageNetimageNetObject DetectiondetectNetdetectNetSegmentationsegNetsegNetPose EstimationposeNetposeNetAction RecognitionactionNetactionNetBackground RemovalbackgroundNetactionNetMonocular DepthdepthNetdepthNet5、Jetson AI Lab VLM、VLA、模型优化、部署应用官网地址https://www.jetson-ai-lab.com/tutorials/#section-vlm主要是用docker进行搭建的PS有其他的问题可以先在论坛查找基本能解决大部分问题https://forums.developer.nvidia.com/分享完成~