20240520在RK3588S平台的Buildroot系统下监控GPU与NPU的综合性能指标

1. RK3588S平台性能监控基础RK3588S作为瑞芯微推出的高性能处理器集成了强大的GPU和NPU单元在边缘计算和嵌入式AI领域应用广泛。但在实际开发中我发现很多开发者对硬件资源的监控还停留在盲人摸象的阶段。今天我就结合自己在Buildroot系统下的实战经验分享一套完整的性能监控方案。先说说为什么需要监控这些指标。上个月我在做一个智能摄像头的项目时就遇到了NPU利用率突然飙升导致系统卡顿的问题。当时由于没有实时监控花了整整两天才定位到是某个AI模型的内存泄漏。这件事让我深刻认识到没有监控的开发就像闭着眼睛开车。在Buildroot系统下所有硬件信息都以文件形式暴露在/sys目录中。这个设计非常巧妙我们只需要读取特定文件就能获取硬件状态。比如GPU的实时频率和使用率信息就存放在/sys/devices/platform/fb000000.gpu/devfreq/fb000000.gpu/load而NPU的状态信息则位于/sys/kernel/debug/rknpu/load2. GPU性能监控实战2.1 基础监控命令GPU作为图形处理的核心单元其负载情况直接影响系统性能。通过以下命令可以获取实时数据cat /sys/devices/platform/fb000000.gpu/devfreq/fb000000.gpu/load输出格式通常是这样的23800000000Hz这个结果需要拆解理解23表示当前GPU使用率为23%800000000Hz表示GPU运行在800MHz频率下我在测试时发现一个有趣现象当GPU完全空闲时频率会降到最低的300MHz此时输出为0300000000Hz。而一旦有图形运算任务频率会立即动态调整。2.2 高级监控技巧单纯看使用率还不够我们还需要关注温度指标。RK3588S的GPU温度可以通过以下路径获取cat /sys/class/thermal/thermal_zone5/temp这里返回的是千分之一摄氏度的整数值比如45600表示45.6℃。在我的压力测试中持续高负载时GPU温度最高能达到78℃左右。如果要实现自动化监控可以写个简单的shell脚本#!/bin/bash while true; do gpu_load$(cat /sys/devices/platform/fb000000.gpu/devfreq/fb000000.gpu/load) gpu_temp$(cat /sys/class/thermal/thermal_zone5/temp) echo [$(date)] GPU状态: $gpu_load 温度: $(($gpu_temp/1000))℃ sleep 1 done3. NPU性能监控详解3.1 基础监控方法RK3588S的NPU采用三核设计监控起来比GPU复杂一些。核心命令是sudo cat /sys/kernel/debug/rknpu/load典型输出如下NPU load: Core0: 45%, Core1: 32%, Core2: 0%这里需要注意两点需要sudo权限才能读取三个核心的负载是分开显示的在我的AI推理项目中发现一个常见现象当运行单模型时通常只有Core0在工作而使用多模型并行时才会触发多核负载均衡。3.2 算力换算技巧RK3588S的NPU总算力是6TOPS我们可以通过负载百分比换算实际算力使用量。比如当Core0显示50%负载时实际算力 6TOPS × 50% 3TOPS温度监控同样重要NPU温度节点在cat /sys/class/thermal/thermal_zone6/temp实测发现NPU的温升比GPU更快在连续推理作业时5分钟内就能从常温升至65℃以上。4. 综合监控方案4.1 一键监控脚本结合前面的知识点我整理了一个综合监控脚本#!/bin/bash echo RK3588S硬件监控 echo 1. GPU状态: gpu_load$(cat /sys/devices/platform/fb000000.gpu/devfreq/fb000000.gpu/load) gpu_temp$(cat /sys/class/thermal/thermal_zone5/temp) echo 使用率: $gpu_load echo 温度: $(($gpu_temp/1000))℃ echo 2. NPU状态: npu_load$(sudo cat /sys/kernel/debug/rknpu/load 2/dev/null) npu_temp$(cat /sys/class/thermal/thermal_zone6/temp) echo 核心负载: $npu_load echo 温度: $(($npu_temp/1000))℃ echo 3. 系统时间: $(date)4.2 性能优化建议根据监控数据我总结了几条优化经验温度控制当NPU温度超过70℃时建议降低推理帧率或暂停运算负载均衡多核NPU应用应该合理分配任务避免单核过载频率调节对延迟不敏感的任务可以限制GPU最大频率来降低功耗监控频率关键业务建议监控间隔不超过1秒普通场景可以设为5秒在最近的人脸识别项目中通过实时监控NPU负载我们成功将识别延迟从120ms优化到80ms。方法就是发现Core0过载时自动将部分任务分配到Core1。