1. 环境准备从零开始的Ubuntu 20.04基础配置大家好我是老张一个在嵌入式AI和边缘计算领域摸爬滚打了十来年的老码农。最近在搞地平线J6M芯片的项目需要在Ubuntu 20.04的主机上搭建一套完整的开发环境既要能调用GPU加速模型转换又要能为ARM架构的J6M板子交叉编译程序。这听起来有点绕但说白了就是想在咱们的x86电脑上模拟出一个能跑J6M板子程序的“沙盒”同时还能让这个沙盒用上咱们电脑的NVIDIA显卡来加速。今天我就把整个从系统准备到最终跑通交叉编译的完整流程以及我踩过的那些坑毫无保留地分享给大家。首先咱们得有一台装好Ubuntu 20.04的电脑。我强烈建议使用物理机虚拟机在后续调用GPU和运行特定Docker容器时可能会遇到各种权限和驱动问题折腾起来非常耗时。系统安装好后第一件事不是急着装Docker而是把系统更新到最新状态并安装一些基础工具。打开终端执行下面这几条命令这能确保你的系统包管理器是最新的并且装好了后续会用到的工具比如用于下载的wget、用于解压的tar还有编译可能需要的build-essential。sudo apt update sudo apt upgrade -y sudo apt install -y wget curl tar gzip build-essential vim net-tools接下来是关键一步安装NVIDIA显卡驱动。如果你的主机有NVIDIA显卡这是必须的因为我们要用GPU加速那么正确安装驱动是后续所有步骤的基石。我推荐使用Ubuntu自带的“附加驱动”工具来安装这个方法相对最稳。你可以通过图形界面的“软件和更新”-“附加驱动”选项卡选择由NVIDIA官方提供的、带“proprietary”和“tested”标识的驱动版本进行安装。安装完成后务必重启系统然后在终端输入nvidia-smi。如果你能看到显卡的详细信息表格包括驱动版本、CUDA版本如果显示的话以及GPU状态那就恭喜你驱动安装成功了。这个命令的输出是你GPU的“健康状态报告”后续所有基于GPU的操作都依赖于它。2. Docker离线安装与NVIDIA容器工具包配置系统基础打好了咱们就来啃第一块硬骨头安装Docker。在很多开发环境中尤其是企业内网机器可能无法直接访问外网所以离线安装是必备技能。我这次就采用离线安装的方式这样部署起来更可控也更快。2.1 离线安装Docker 20.10.0首先我们需要下载Docker的静态二进制包。根据你的主机架构我们这里是x86_64去Docker官方仓库下载对应版本。我选择的是20.10.0版本这是一个经过大量项目验证的稳定版本。# 在一个能上网的机器上下载然后拷贝到目标机或者如果目标机能临时联网直接执行 wget https://download.docker.com/linux/static/stable/x86_64/docker-20.10.0.tgz下载完成后你会得到一个docker-20.10.0.tgz的压缩包。接下来的步骤就是解压、部署和配置服务。# 解压下载的包 tar -xzvf docker-20.10.0.tgz # 将解压出的所有可执行文件拷贝到系统目录 sudo cp docker/* /usr/bin/这里你可能会遇到一个常见的错误cp: cannot create regular file /usr/bin/dockerd: Text file busy。这是因为系统里可能已经有老版本的Docker相关进程在运行文件被占用了。别慌用强制覆盖参数就行sudo cp -f docker/* /usr/bin/文件拷贝好了但Docker还不能作为服务启动。我们需要把它注册为一个systemd服务这样就能用systemctl命令方便地管理了。创建一个服务配置文件sudo vim /etc/systemd/system/docker.service将以下内容完整地粘贴进去。这些配置定义了Docker服务的启动参数、依赖关系和重启策略是标准做法。[Unit] DescriptionDocker Application Container Engine Documentationhttps://docs.docker.com Afternetwork-online.target firewalld.service Wantsnetwork-online.target [Service] Typenotify ExecStart/usr/bin/dockerd ExecReload/bin/kill -s HUP $MAINPID LimitNOFILEinfinity LimitNPROCinfinity TimeoutStartSec0 Delegateyes KillModeprocess Restarton-failure StartLimitBurst3 StartLimitInterval60s [Install] WantedBymulti-user.target保存退出后给这个服务文件加上可执行权限并重新加载systemd的配置让它认识这个新服务。sudo chmod x /etc/systemd/system/docker.service sudo systemctl daemon-reload激动人心的时刻到了启动Docker服务并检查版本sudo systemctl start docker docker --version如果终端打印出Docker version 20.10.0, build xxxxx那么Docker引擎就成功跑起来了为了让每次开机都能自动运行Docker我们设置一下开机自启sudo systemctl enable docker.service。2.2 安装NVIDIA Container ToolkitDocker本身并不认识NVIDIA显卡我们需要一个“翻译官”让Docker容器能够访问和使用宿主机的GPU。这个翻译官就是NVIDIA Container Toolkit以前叫nvidia-docker2。它的作用是在容器内部提供与宿主机一致的GPU驱动接口。安装过程需要添加NVIDIA的软件源。依次执行下面的命令这些命令会添加NVIDIA的GPG密钥和软件源列表。curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | sed s#deb https://#deb [signed-by/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list更新软件包列表并安装指定版本的NVIDIA Container Toolkit组件。我指定了1.17.8-1这个版本因为它与我当前的驱动和Docker版本兼容性最好避免出现一些玄学问题。sudo apt-get update export NVIDIA_CONTAINER_TOOLKIT_VERSION1.17.8-1 sudo apt-get install -y nvidia-container-toolkit${NVIDIA_CONTAINER_TOOLKIT_VERSION} nvidia-container-toolkit-base${NVIDIA_CONTAINER_TOOLKIT_VERSION} libnvidia-container-tools${NVIDIA_CONTAINER_TOOLKIT_VERSION} libnvidia-container1${NVIDIA_CONTAINER_TOOLKIT_VERSION}安装完成后需要重新配置Docker的运行时让它使用NVIDIA的运行时。执行以下命令sudo nvidia-ctk runtime configure --runtimedocker最后重启Docker服务让所有配置生效。sudo systemctl restart docker现在我们可以做一个简单的测试运行一个带GPU支持的测试容器sudo docker run --rm --gpus all nvidia/cuda:11.8.0-base-ubuntu20.04 nvidia-smi如果这个命令能成功输出和你在宿主机上运行nvidia-smi类似的GPU信息表格那就说明NVIDIA Container Toolkit配置成功了容器已经能“看见”并使用宿主的GPU了。3. 加载并运行地平线OE3.2.0 GPU Docker镜像基础环境全部就绪现在主角登场地平线OpenExplorerOE3.2.0的GPU Docker镜像。这个镜像可以理解为一个已经预装了所有地平线AI工具链、模型转换工具、Python环境以及CUDA支持的完整Linux系统“模板”。我们拿到手的通常是一个巨大的.tar.gz压缩包比如docker_open_explorer_ubuntu_22_j6_gpu_v3.2.0.tar.gz。注意虽然镜像内部是Ubuntu 22.04的系统但它完全可以在我们Ubuntu 20.04的宿主机上运行。3.1 加载镜像与创建容器首先解压这个压缩包如果已经是.tar文件则跳过解压步骤gzip -d docker_open_explorer_ubuntu_22_j6_gpu_v3.2.0.tar.gz然后使用Docker的load命令将这个tar包加载为本地镜像docker load -i docker_open_explorer_ubuntu_22_j6_gpu_v3.2.0.tar加载完成后用docker images命令查看一下。你应该能看到一个名为openexplorer/ai_toolchain_ubuntu_22_j6_gpu标签为v3.2.0的镜像大小可能接近30GB。记下它的IMAGE ID比如1d79ca1300ec我们接下来用它来创建容器。创建并运行容器的命令如下sudo docker run -it --gpus all 1d79ca1300ec-it参数表示交互式终端--gpus all表示将宿主机的所有GPU都分配给这个容器。执行后你会直接进入容器的bash shell提示符会变成类似rootxxxxxxxxxxxx:/open_explorer#的样子。3.2 容器内验证与特权模式进入容器后第一件事就是验证GPU是否可用。在容器内执行nvidia-smi如果能看到GPU信息那真是太完美了说明GPU穿透成功。但是事情往往没那么顺利。我在这里遇到了一个经典坑点当你尝试在容器里运行一些Python代码特别是用到NumPy、OpenBLAS或者导入PyTorch时可能会看到这样的报错OpenBLAS blas_thread_init: pthread_create failed for thread 1 of 16: Operation not permitted OpenBLAS blas_thread_init: RLIMIT_NPROC -1 current, -1 max这个错误是因为容器内部对用户进程数nproc的资源限制与某些数学库的多线程初始化产生了冲突。解决方法就是在创建容器时增加--privilegedtrue参数赋予容器真正的“特权模式”让它能突破一些默认的限制。所以更稳妥的容器创建命令是sudo docker run -it --privilegedtrue --gpus all 1d79ca1300ec用这个命令重新创建容器后之前的线程创建错误一般就会消失。现在你可以在/open_explorer目录下尽情使用地平线提供的hb_mapper、hbdk等工具进行模型转换和量化了。这个环境已经是一个功能完整的、带GPU加速的地平线AI工具链环境。4. 基于QEMU的ARM64交叉编译环境搭建好了现在我们有了一个强大的、带GPU的x86开发环境。但我们的目标芯片J6M是ARM架构的最终的程序要在ARM板上跑。这就需要交叉编译在x86环境上编译出能在ARM上运行的程序。Docker的强大之处再次体现我们可以直接在x86的宿主机上运行一个ARM架构的容器并在里面进行编译。这背后的魔法师就是QEMU。4.1 安装与配置QEMU用户态模拟QEMU是一个开源的模拟器它的qemu-user-static组件可以在x86系统上静态地模拟运行ARM等其他架构的程序。我们需要在宿主机上安装它。# 下载静态编译的qemu-aarch64二进制文件 wget https://github.com/multiarch/qemu-user-static/releases/download/v5.1.0-2/qemu-aarch64-static.tar.gz # 解压 tar -zxvf qemu-aarch64-static.tar.gz # 拷贝到系统目录 sudo cp qemu-aarch64-static /usr/bin/ # 安装qemu-user-static包它会注册binfmt_misc让系统知道如何识别ARM可执行文件 sudo apt-get install -y qemu-user-static安装完成后可以检查一下binfmt_misc的注册情况ls /proc/sys/fs/binfmt_misc/你应该能看到qemu-aarch64之类的条目。4.2 运行ARM容器并进行交叉编译测试接下来我们需要一个ARM64架构的基础镜像。地平线可能提供了专门的J6M编译镜像或者你可以使用通用的ARM64 Ubuntu镜像。假设我们有一个名为latest-humble-v1.0.tar的ARM镜像包。# 加载ARM镜像 sudo docker load -i latest-humble-v1.0.tar # 查看镜像确认它的IMAGE ID sudo docker images假设这个ARM镜像的ID是1a9d0114d807。现在我们可以尝试运行它。关键点在于我们需要将宿主机上的qemu-aarch64-static程序挂载到容器内部这样容器内的ARM程序才能通过它被解释执行。sudo docker run -it -v /usr/bin/qemu-aarch64-static:/usr/bin/qemu-aarch64-static 1a9d0114d807 /bin/bash -c uname -m; exec /bin/bash这个命令做了几件事-v把宿主机的QEMU程序挂载到容器内相同路径然后让容器启动后先执行uname -m输出架构信息再启动一个bash。如果一切正常你会先看到一个警告提示平台不匹配然后输出aarch64最后进入容器的shell。这说明ARM容器已经在x86主机上成功跑起来了4.3 实战挂载代码与交叉编译在实际开发中我们更常用的方式是创建一个后台运行的ARM容器并把我们x86宿主机上的项目代码目录挂载进去。这样我们可以在宿主机上用熟悉的IDE如VSCode编辑代码然后在容器内执行编译命令编译出ARM版本的可执行文件。# 创建一个后台运行的ARM容器并将宿主机的项目目录挂载到容器内的 /root/app sudo docker run -d -it -v /home/your_username/your_project/:/root/app --platformlinux/arm64/v8 1a9d0114d807使用sudo docker ps查看运行中的容器找到刚才创建的ARM容器的CONTAINER ID比如cf6ca5ec2be6。然后通过exec命令进入这个容器sudo docker exec -it cf6ca5ec2be6 /bin/bash进入容器后切换到挂载的目录cd /root/app用ls看看是不是已经能看到你在宿主机上的所有项目文件了现在这个容器就是一个纯粹的ARM64环境你可以在这里安装ARM版的编译工具链如gcc-aarch64-linux-gnu然后像在真实的J6M板子上一样对你的代码进行编译。例如编译一个简单的Hello World程序# 在容器内安装交叉编译工具链如果需要 # apt-get update apt-get install -y gcc-aarch64-linux-gnu g-aarch64-linux-gnu # 编译 aarch64-linux-gnu-gcc -o hello_arm hello.c -static # 静态链接方便拷贝到板子编译生成的hello_arm文件就是一个可以在J6M等ARM64开发板上直接运行的可执行文件。你可以把它从容器的/root/app目录也就是宿主机的项目目录拷贝出来放到板子上运行测试。5. 开发工作流与踩坑心得搭建环境只是第一步如何高效地利用这套环境进行日常开发才是关键。我分享一下我目前的工作流。我通常会同时运行两个容器一个是地平线OE GPU镜像容器专门用于模型转换、量化、性能分析等需要GPU加速和地平线工具链的任务另一个是ARM交叉编译容器专门用于编译需要在J6M板子上运行的C/Python应用程序。两个容器都通过-v参数挂载到宿主机上同一个项目代码目录。这样无论我在哪个容器里操作看到的都是同一份最新的代码。在OE GPU容器里我主要使用地平线的hb_mapper工具链。流程一般是将训练好的PyTorch或TensorFlow模型.onnx格式放到共享目录在容器内使用hb_mapper进行模型解析、量化、校准和编译最终生成地平线芯片支持的.bin模型文件。这个过程非常消耗算力GPU的加速至关重要。在ARM编译容器里我则专注于业务代码的编译。对于C项目使用交叉编译工具链对于Python项目则需要安装ARM架构的Python包通常通过pip指定--platform manylinux2014_aarch64等参数来下载预编译的wheel或者从源码编译。编译或打包好的产物同样放在共享目录。几个我踩过的大坑Docker存储驱动问题如果宿主机之前装过Docker再装新版本有时会因为存储驱动如overlay2不一致导致镜像加载失败。如果遇到奇怪的镜像错误可以尝试彻底清理Dockersudo rm -rf /var/lib/docker后重装。NVIDIA驱动版本兼容性宿主机NVIDIA驱动版本不能太老需要与容器内期望的CUDA版本大致兼容。用nvidia-smi看最上面的CUDA Version那只是驱动支持的最高CUDA版本不代表已安装。容器内用户权限默认以root用户进入容器很方便但有时编译脚本会指定非root用户。需要注意容器内文件权限与宿主机挂载目录权限的一致性避免出现“Permission denied”。QEMU性能在x86上通过QEMU运行ARM容器性能肯定有损失尤其是IO密集型操作。编译大型项目时耐心一点。它的主要价值在于功能正确性验证和轻量级编译大规模编译还是建议在真机或更强的ARM服务器上进行。这套组合拳打下来你就拥有了一个非常强大的本地开发环境。它把复杂的交叉编译、模型部署环境封装在了容器里与宿主机隔离干净又便携。一旦配置成功就可以作为团队的标准开发环境模板大大提升了从算法到嵌入式部署的联调效率。希望这篇超详细的实战记录能帮你少走弯路如果在搭建过程中遇到新问题也欢迎一起交流探讨。