借助 NVIDIA Jetson T4000 与 NVIDIA JetPack 7.1 加速边缘与机器人领域的 AI 推理某机构推出了 Jetson T4000 模块将高性能 AI 与实时推理能力带到了更广泛的机器人与边缘 AI 应用中。该模块针对更严格的功耗和热设计进行了优化T4000 提供高达 1200 FP4 TFLOPS 的 AI 算力和 64 GB 内存在性能、效率和可扩展性之间取得了理想的平衡。凭借其节能设计和可量产的外形规格T4000 使得先进的 AI 技术能够应用于下一代智能机器从自主机器人到智能基础设施和工业自动化。该模块包含 1 个 NVENC 和 1 个 NVDEC 硬件视频编解码引擎支持实时 4K 视频编码和解码。这种均衡的设计旨在为结合了高级视觉处理、强大 I/O 能力以及出色功耗与热效率的平台而打造。表 1. Jetson T4000 模块与 NVIDIA Jetson T5000 模块的关键规格特性NVIDIA Jetson T4000NVIDIA Jetson T5000AI 性能1,200 FP4 稀疏 TFLOPS2,070 FP4 稀疏 TFLOPSGPU1,536 核 NVIDIA Blackwell 架构 GPU配备第五代 Tensor Core支持多实例 GPU 技术包含 6 个 TPC2,650 核 NVIDIA Blackwell 架构 GPU配备第五代 Tensor Core支持多实例 GPU 技术包含 10 个 TPC内存64 GB 256-bit LPDDR5x | 273 GBps128 GB 256-bit LPDDR5x | 273 GBpsCPU12 核 Arm Neoverse-V3AE 64 位 CPU14 核 Arm Neoverse-V3AE 64 位 CPU视频编码1x NVENC2x NVENC视频解码1x NVDEC2x NVDEC网络3x 25GbE4x 25GbEI/O多达 8 通道 PCIe Gen55x I2S | 1x 音频集线器 | 2X DMI | 4x UART | 3x SPI | 13x I2C | 6x PWM 输出多达 8 通道 PCIe Gen55x I2S/2x 音频集线器, 2x DMI, 4x UART, 4x CAN, 3x SPI, 13x I2C, 6x PWM 输出功耗40W-70W40W-130WJetson T4000 模块与 NVIDIA Jetson T5000 模块采用相同的外形规格且引脚兼容。开发者可以为 T4000 和 T5000 设计通用的载板同时需考虑两者在散热及其他固有模块特性上的差异。NVIDIA Jetson T4000 与 T5000 性能基准测试Jetson T4000 和 T5000 模块在众多大语言模型、文本转语音模型以及视觉-语言-动作模型上均展现出强劲性能。Jetson T4000 相比上一代 NVIDIA Jetson AGX Orin 平台性能提升了多达 2 倍。下表展示了 T4000 和 T5000 在主流 LLM、TTS 和 VLA 模型上的性能数据。表 2. Jetson T5000 与 Jetson T4000 模块性能基准测试模型家族模型Jetson T4000 (token/秒)Jetson T5000 (token/秒)T4000 与 T5000 对比QWENQwen3-30B-A3B21820.84QWENQwen 3 32B68830.82NemotronNemotron 12B40610.66DeepSeekDeepSeek R1 Distill Qwen 32B64820.78MistralMistral 3 14B1001090.92Kokoro TTSKokoro 82M1,1009000.82GR00TGR00T N1.537640.92NVIDIA JetPack 7.1为下一代边缘 AI 打造的先进软件栈NVIDIA JetPack 7 是 Jetson 平台最先进的软件能够在边缘部署生成式 AI 和人形机器人应用。全新的 Jetson T4000 模块由 JetPack 7.1 驱动并引入了多项新的软件功能增强了 AI 和视频编解码能力。NVIDIA TensorRT Edge-LLM面向机器人与边缘系统的高效推理引擎借助 JetPack 7.1我们宣布在 Jetson Thor 平台上支持 NVIDIA TensorRT Edge-LLM。TensorRT Edge-LLM SDK 是一个开源的 C SDK用于在 Jetson 等边缘平台上高效运行 LLM 和视觉语言模型。它面向机器人及其他需要现代 LLM 智能能力但又无法承受数据中心级计算、内存或功耗的实时系统。目前大多数流行的 LLM 软件栈都是为云 GPU 设计的它们拥有充足的内存、宽松的延迟限制、无处不在的 Python 服务以及作为安全网的弹性扩展。而机器人和其它边缘设备则处于不同的约束条件下每一毫秒、每瓦特和每个运行时都可能影响物理行为。TensorRT Edge‑LLM SDK 通过将面向生产的 LLM 运行时引入 Jetson Thor 级嵌入式 GPU 等设备填补了这一空白。对于机器人工作负载而言目标不仅仅是“运行一个 LLM”而是要让它与已经饱和了 GPU 和 CPU 资源的感知、控制和规划栈并行运行。这种以边缘为先的设计意味着 LLM 运行时能够干净地集成到现有的 C 代码库中遵守严格的内存预算并在负载下提供可预测的延迟。TensorRT Edge-LLM SDK 专注于在边缘快速高效地推理 LLM 和 VLM起点是 PyTorch 等熟悉的训练生态系统。典型的工作流程非常直接将训练好的模型导出为 ONNX 格式通过 TensorRT 进行优化然后部署一个由 SDK 在设备上端到端驱动的推理引擎。该 SDK 的一个决定性特征是其实作为一个轻量级 C 工具包最初是为某机构的自动驾驶汽车系统 DriveOS LLM SDK 中的车载系统而调优的。它不像 Python 中心化的 LLM 框架那样依赖庞杂的 Python 包、Web 服务器和后端服务而是链接到一个专注于 C 的运行时该运行时直接与 TensorRT 和 NVIDIA CUDA 交互。与以 Python 为中心的 LLM 框架相比这为机器人技术带来了几个实际的好处包括更低的开销C 二进制文件避免了 Python 解释器启动成本、垃圾回收暂停和全局解释器锁相关的争用有助于满足严格的延迟目标。更简便的实时集成C 提供了对线程、内存池和调度的更直接控制自然地契合了实时或近实时机器人软件栈的需求。更小的占用空间更少的依赖关系简化了在 Jetson 上的部署缩小了容器镜像并使无线更新更可靠。量化是最重要的手段之一。该 SDK 支持多种降低的精度如 FP8、NVFP4 和 INT4在正确调整的情况下能以微小的精度损失来缩减模型权重和 KV 缓存的使用量。图 1. 使用 Qwen3 和投机性解码的 TensorRT Edge-LLM 性能(此处应为原图 Figure 1 的占位)Video Codec SDK在 Jetson Thor 上驱动实时感知与媒体处理借助 JetPack 7.1NVIDIA Video Codec SDK 现在已支持 Jetson Thor 平台。Video Codec SDK 是一套全面的 API、高性能工具、示例应用程序、可重用代码和文档能够在 Jetson Thor 平台上实现硬件加速的视频编码和解码。其核心是 NVENCODE 和 NVDECODE API它们提供了用于高性能访问 NVENC 和 NVDEC 硬件加速器的 C 风格接口展现了大部分硬件能力以及广泛使用的和先进的编解码器功能。为了简化集成该 SDK 还包括在这些 API 之上构建的可重用 C 类允许应用程序轻松采用底层 NVENCODE/NVDECODE 接口提供的全部功能。图 1 展示了 Video Codec SDK 及其驱动程序在 JetPack 7.1 板级支持包中的架构以及相关的示例应用程序和文档。图 2. Video Codec SDK 架构(此处应为原图 Figure 2 的占位)Video Codec SDK 为多媒体开发者带来了以下关键优势跨 NVIDIA GPU 的统一体验借助 Video Codec SDK开发者可以在 NVIDIA GPU 产品组合中获得一致且简化的开发体验。这种统一性消除了为不同 GPU 类别维护独立代码库或调优策略的需要减少了工程开销。在 GPU 上进行构建的开发者可以使用 Video SDK API 将其应用程序扩展或移植到 Jetson Thor 的集成 GPU 上而无需重新架构其视频处理流程。在嵌入式平台上工作的团队也能受益于在工作站和服务器上可用的同样成熟的 API、工具和性能优化。这种一致性不仅加速了开发和验证还简化了长期维护、可扩展性和跨平台功能一致性。对下一代机器人感知与多媒体应用的精细控制Video Codec SDK 公开了 API允许开发者将预设与调优模式配对以精确控制质量、延迟和吞吐量解锁灵活的特定应用编码。通过用于重建帧访问和迭代编码的 API该 SDK 支持能自动找到感知质量所需最低码率的 CBR 工作流在保持质量的同时削减带宽。SDK 暴露的对空间/时间自适应量化AQ和前瞻的控制实现了精细的感知优化将比特分配在最需要的地方从而在不提高码率的情况下输出更清晰、更稳定的视频。Video Codec SDK 由两个主要组件组成视频用户模式驱动程序通过 NVENCODE 和 NVDECODE API 提供对片上硬件编码器和解码器的访问。Video Codec SDK 13.0包含示例代码、头文件和文档可通过某机构的 Video Codec SDK 网页、使用 APT 或通过某机构的 SDK Manager 进行安装。图 3. Video Codec SDK 的组件(此处应为原图 Figure 3 的占位)PyNvVideoCodec 是基于某机构 Python 的视频编解码库它提供了简单而强大的 Python API用于在某机构 GPU 上进行硬件加速的视频编码和解码。PyNvVideoCodec 库内部使用 Video Codec SDK 的核心 C/C 视频编码和解码 API并提供易于使用的 Python API。该库提供的编码和解码性能接近 Video Codec SDK。开始使用NVIDIA Jetson T4000 得到了来自成熟硬件合作伙伴的可量产系统生态系统的支持使从原型到部署的过渡更加快速。开发者可以首先选择一个经过预验证的边缘系统该系统已集成了机器人和其他物理 AI 工作负载所需的模块、电源、热设计和 I/O。许多合作伙伴系统旨在利用该模块先进的摄像头处理管道支持 MIPI CSI 和 GMSL以处理要求苛刻的多摄像头、实时视觉工作负载。借助 Jetson T4000 上的 16 通道 MIPI CSI合作伙伴可以提供能够同时从多个摄像头接收数据流的平台从而实现复杂的机器人、工业检测和自主机器应用。这些系统旨在支持 JetPack SDK、CUDA 以及更广泛的 NVIDIA AI 软件栈。现有的应用程序和模型通常只需进行微小的更改即可运行。许多合作伙伴还提供生命周期支持、地区认证和可选的定制化服务这有助于团队在从试点扩展到批量部署时降低供应链和合规风险。要探索可用的系统并为您的应用找到合适的方案请访问 NVIDIA 生态系统页面。总结借助由 JetPack 7.1 驱动的 Jetson T4000某机构将 Blackwell 级 AI、实时推理和先进的多媒体能力扩展到了更广泛的边缘和机器人应用中。从 LLM、语音和 VLA 工作负载的强劲性能提升到 TensorRT Edge-LLM 和统一 Video Codec SDK 的引入T4000 在性能、效率和软件成熟度之间实现了平衡。Jetson T4000 使开发者能够在不同性能层级上进行智能扩展同时在边缘构建下一代自主机器、感知系统和物理 AI 解决方案。可访问某机构的 Jetson AGX Thor 开发者套件开始体验并下载最新的 JetPack 7.1。Jetson T4000 模块现已上市。全面的文档、支持资源和工具可通过某机构的 Jetson 下载中心和生态系统合作伙伴获取。如有疑问或需要指导请与某机构开发者论坛中的专家和其他开发者交流。FINISHED更多精彩内容 请关注我的个人公众号 公众号办公AI智能小助手或者 我的个人博客 https://blog.qife122.com/对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号网络安全技术点滴分享