Rockchip DMA架构深度解析——并行还是串行？

1. 核心结论真正的并行DMA架构Rockchip中高端芯片如RK3399、RK3568、RK3588的DMA架构本质上是并行的而非串行。多个设备可以同时进行DMA传输不需要全局排队。这一结论基于以下架构设计2. 架构深度解析2.1 多通道DMA引擎与专用路径Rockchip SoC的设计理念是每个关键外设都拥有独立的DMA通道或专用DMA控制器而不是所有设备共享一个DMA引擎。/** * file arch/arm64/boot/dts/rockchip/rk3588.dtsi (设备树源文件) * brief 展示RK3588中多个设备的DMA通道独立配置 * * 资深视角设备树中每个外设节点都指定了独立的DMA通道 * 这表明硬件层面支持并行访问。 */ ​ /** * section 网络控制器 - GMAC * description 以太网控制器拥有自己的DMA引擎无需与其他设备排队 */ gmac0: ethernetfe1b0000 { compatible rockchip,rk3588-gmac; reg 0x0 0xfe1b0000 0x0 0x10000; interrupts GIC_SPI 115 IRQ_TYPE_LEVEL_HIGH 0, GIC_SPI 117 IRQ_TYPE_LEVEL_HIGH 0; /* Tx/Rx 独立中断 */ /* 独立的DMA配置无需dma-names内置DMA引擎 */ status disabled; }; ​ /** * section 视频编解码单元 - VPU * description 视频编解码器拥有自己的多通道DMA */ vpu: video-codecfdb50000 { compatible rockchip,rk3588-vpu; reg 0x0 0xfdb50000 0x0 0x800; interrupts GIC_SPI 130 IRQ_TYPE_LEVEL_HIGH 0; /* 专用DMA引擎处理YUV/RAW格式视频数据 */ iommus vpu_mmu; }; ​ /** * section 摄像头接口 - CIF/VICAP * description RK3568开始支持多通道并行DMA最多4路独立DMA引擎 * see https://origin.kernel.org/doc/html/next/admin-guide/media/rkcif.html */ cif: ciffe490000 { compatible rockchip,rk3588-cif; reg 0x0 0xfe490000 0x0 0x10000; interrupts GIC_SPI 211 IRQ_TYPE_LEVEL_HIGH 0; /* * RK3568 VICAP 支持4个独立DMA引擎可同时捕获4路不同流如4个虚拟通道 * 这是并行设计的典型体现 */ }; ​ /** * section 音频I2S控制器 * description 音频设备通过通用DMA控制器(PL330)获取通道 */ i2s0: i2sfe470000 { compatible rockchip,rk3588-i2s, rockchip,rk3066-i2s; reg 0x0 0xfe470000 0x0 0x1000; interrupts GIC_SPI 180 IRQ_TYPE_LEVEL_HIGH 0; dmas dmac1 0, dmac1 1; /* 从dmac1获取TX/RX通道 */ dma-names tx, rx; /* 音频流使用通用DMA控制器但通道独立 */ };2.2 摄像头接口的并行能力突破RK3568及后续芯片的摄像头接口VICAP代表了Rockchip DMA并行设计的最高水平/** * file drivers/media/platform/rockchip/rkcif/rkcif.h * brief Rockchip Camera Interface 驱动 - 多通道并行捕获支持 * * 根据内核文档 RK3568 VICAP 具有以下并行能力 * - DVP接口支持4个独立DMA引擎可同时捕获4个不同数据流 * - MIPI CSI-2接收器支持4个独立DMA引擎对应4个虚拟通道(VC) * - 支持ping-pong双缓冲机制实现无间断DMA传输 */ ​ /** * struct rkcif_dmaengine * brief 每个DMA通道的独立控制结构 */ struct rkcif_dmaengine { struct dma_chan *chan; /* DMA通道句柄 */ dma_addr_t ping_paddr; /* Ping缓冲区物理地址 */ dma_addr_t pong_paddr; /* Pong缓冲区物理地址 */ void __iomem *regs; /* 该通道的寄存器基址 */ int irq; /* 独立中断号 */ spinlock_t buf_lock; /* 每个通道独立锁减少竞争 */ struct list_head buf_list; /* 缓冲区队列 */ atomic_t sequence; /* 帧序列号 */ }; ​ /** * struct rkcif_device * brief 主设备结构包含多个DMA引擎实例 */ struct rkcif_device { struct device *dev; struct v4l2_device v4l2_dev; struct media_device media_dev; /* RK3568/RK3588支持最多4个并行DMA引擎 */ struct rkcif_dmaengine dma_engines[RKCIF_MAX_STREAMS]; // [!code highlight] int num_engines; /* 实际可用的DMA引擎数量 */ /* ... 其他字段 ... */ };资深解读当同时开启4路摄像头或1路摄像头输出4个虚拟通道时RK3568的硬件设计允许这4路DMA传输完全并行互不干扰。每个DMA引擎有自己的寄存器集、独立中断线和独立的缓冲区队列。这在硬件层面消除了排队需求。3. DMA请求处理机制无需排队的原因尽管硬件支持并行但多个设备同时访问DDR内存时总线仲裁机制如何处理3.1 多层总线架构/** * brief Rockchip SoC 总线架构示意 * * 高端芯片采用多层AXI总线设计不同DMA流量走不同物理路径 * * ----------------- * | DDR Controller| * ---------------- * | * ---------------------------- * | | | * -------v------ -----v------ -----v------ * | ACE/CCI总线 | | AXI Matrix | | AXI Matrix | -- 多路并行总线矩阵 * ------------- ----------- ----------- * | | | * -------v------ -----v------ -----v------ * | CPU集群 | | GPU/VPU | | 外设总线 | * | (Cache一致) | | (高性能) | | (低速) | * -------------- ------------ ------------ * | * -------------------------------------------- * | | | * -------v------ -------v------ -------v------ * | GMAC (网络) | | CIF (摄像头) | | I2S (音频) | * | 独立DMA引擎 | | 多通道DMA | | 共享DMAC通道 | * -------------- -------------- -------------- */3.2 总线仲裁基于优先级的并行调度当多个DMA引擎同时向DDR控制器发起访问时总线矩阵会进行基于优先级的仲裁但这不同于排队/** * file drivers/soc/rockchip/rockchip_pm_config.c (部分平台) * brief 总线QoS(Quality of Service)配置 * * 资深视角Rockchip允许为不同主设备设置QoS优先级 * 确保关键数据流如视频获得足够带宽而非简单排队。 */ ​ /** * brief 设置设备的QoS优先级 * param dev 设备指针 * param priority 优先级值0-15越高越优先 * * 内核通过此API确保实时性要求高的设备如摄像头 * 在总线竞争时获得优先服务但仍允许其他设备并行传输。 */ int rockchip_set_dev_qos(struct device *dev, u32 priority) { struct rockchip_qos_data *qos; u32 val; qos dev_get_drvdata(dev); if (!qos) return -EINVAL; /* 配置总线矩阵的QoS寄存器 */ val readl_relaxed(qos-reg); val ~0xff; val | priority 0xff; writel_relaxed(val, qos-reg); dev_dbg(dev, set QoS priority to %d\n, priority); return 0; } ​ /* 驱动probe时通常设置的优先级示例 * - 视频解码/编码: 高优先级 (12-15) * - 摄像头捕获: 高优先级 (10-14) * - 网络: 中高优先级 (8-10) * - 音频: 中优先级 (5-7) — 音频数据量小但延迟敏感 * - 存储: 中优先级 (4-6) * - SPI/I2C: 低优先级 (0-3) */3.3 真正的串行场景共享DMA控制器通道只有一种情况需要排队多个设备共享同一个通用DMA控制器通道。/** * file drivers/dma/pl330.c * brief ARM PL330 DMA控制器驱动 - Rockchip通用DMA控制器 * * 对于音频、SPI、UART等低速外设它们共享PL330 DMA控制器的多个通道。 * 当所有通道都被占用时新的DMA请求需要等待。 */ ​ /** * brief PL330通道分配函数 * param pch DMA通道结构 * return 0成功-EBUSY表示无空闲通道 * * 这是真正的串行瓶颈当16个PL330通道全部被占用时 * 第17个DMA请求必须等待通道释放。 */ static int pl330_alloc_chan_resources(struct dma_chan *chan) { struct dma_pl330_chan *pch to_pchan(chan); struct pl330_dmac *pl330 pch-dmac; unsigned long flags; int ret 0; spin_lock_irqsave(pl330-lock, flags); /* 检查是否有空闲通道 */ if (pch-pl330_chid 0) { /* 通道已被分配 */ spin_unlock_irqrestore(pl330-lock, flags); return -EBUSY; // [!code warning] } /* 从pl330分配一个物理通道 */ ret pl330_add_request(pl330, pch); if (ret 0) { spin_unlock_irqrestore(pl330-lock, flags); return -EBUSY; /* 无空闲通道需排队等待 */ } spin_unlock_irqrestore(pl330-lock, flags); return 0; } ​ /** * brief 总结Rockchip DMA并行能力一览 * * ------------------------------------------------------------- * | 设备类型 | DMA架构 | 是否并行/需要排队 | * * | 网络 GMAC | 内置专用DMA引擎 | 完全并行无需排队 | * | 视频 VPU | 内置专用DMA引擎 | 完全并行无需排队 | * | 摄像头 CIF | 多通道独立DMA引擎 | 多路内部并行无需排队 | * | 显示 VOP | 专用DMA/图层扫描 | 完全独立无需排队 | * | 音频 I2S | 共享PL330通道 | 通道满时需要排队 | * | SPI/UART | 共享PL330通道 | 通道满时需要排队 | * | SD/MMC | 内置DMA或ADMA | 通常独立无需排队 | * ------------------------------------------------------------- */4. 缓存一致性RK3588的关键特性最新的RK3588引入了一个重要特性非一致性DMA这对并行DMA性能有深远影响。/** * file arch/arm64/boot/dts/rockchip/rk3588-base.dtsi * brief RK3588 DMA一致性配置补丁 * * 2024年12月主线内核合并了重要补丁为RK3588添加dma-noncoherent属性 */ ​ gic: interrupt-controllerfe600000 { compatible arm,gic-v3; dma-noncoherent; // [!code warning] // [!code highlight] reg 0x0 0xfe600000 0 0x10000, /* GICD */ 0x0 0xfe680000 0 0x100000; /* GICR */ interrupts GIC_PPI 9 IRQ_TYPE_LEVEL_HIGH 0; interrupt-controller; msi-controller; #interrupt-cells 4; its0: msi-controllerfe640000 { compatible arm,gic-v3-its; dma-noncoherent; // [!code warning] // [!code highlight] reg 0x0 0xfe640000 0x0 0x20000; msi-controller; #msi-cells 1; }; }; ​ /** * brief dma-noncoherent的含义与影响 * * 资深解读 * - 此前RK3588依靠compatible字符串和内核补丁处理硬件勘误(Rockchip 3588001) * - dma-noncoherent是标准化的表达方式表明GIC ITS中断控制器的DMA操作 * 与CPU缓存不一致需要软件维护一致性 * - 这对多设备并行DMA的意义多个设备通过MSI中断通知CPU时需要确保中断 * 信息被正确写回内存避免丢失中断 */实际影响在RK3588上进行高强度并行DMA如4K视频录制千兆网络传输时需要确保驱动正确使用dma_map/unmap和dma_sync_*函数维护缓存一致性。这是优化多设备并行DMA的关键。5. 驱动层面的DMA请求处理让我们深入具体驱动代码看Rockchip如何管理多个DMA请求。5.1 SPI驱动的DMA请求可选/** * file drivers/spi/spi-rockchip.c * brief Rockchip SPI控制器驱动 - DMA通道请求 */ ​ static int rockchip_spi_probe(struct platform_device *pdev) { struct rockchip_spi *rs; struct spi_controller *ctlr; int ret; /* ... 初始化其他资源 ... */ /** * brief 请求TX DMA通道 * note 从Linux 5.x开始DMA通道是可选的 * 如果DMA通道不可用自动回退到PIO模式 * 这种设计避免了因DMA资源不足导致的probe失败 */ ctlr-dma_tx dma_request_chan(rs-dev, tx); if (IS_ERR(ctlr-dma_tx)) { /* Check tx to see if we need to defer driver probing */ ret dev_warn_probe(rs-dev, PTR_ERR(ctlr-dma_tx), Failed to request optional TX DMA channel\n); if (ret -EPROBE_DEFER) goto err_disable_pm_runtime; ctlr-dma_tx NULL; /* 回退到PIO模式 */ } ​ ctlr-dma_rx dma_request_chan(rs-dev, rx); if (IS_ERR(ctlr-dma_rx)) { ret dev_warn_probe(rs-dev, PTR_ERR(ctlr-dma_rx), Failed to request optional RX DMA channel\n); if (ret -EPROBE_DEFER) goto err_free_dma_tx; ctlr-dma_rx NULL; /* 回退到PIO模式 */ } /* ... 继续初始化 ... */ }5.2 音频DMA的同步配置/** * file sound/soc/rockchip/rockchip_i2s.c * brief Rockchip I2S音频驱动 - DMA配置 */ ​ static int rockchip_i2s_hw_params(struct snd_pcm_substream *substream, struct snd_pcm_hw_params *params, struct snd_soc_dai *dai) { struct rk_i2s_dev *i2s snd_soc_dai_get_drvdata(dai); struct snd_dmaengine_dai_dma_data *dma_data; struct dma_slave_config config; int ret; if (substream-stream SNDRV_PCM_STREAM_PLAYBACK) dma_data i2s-playback_dma_data; else dma_data i2s-capture_dma_data; /* 配置DMA传输参数 */ memset(config, 0, sizeof(config)); config.src_addr dma_data-addr; config.dst_addr dma_data-addr; config.src_addr_width dma_data-addr_width; config.dst_addr_width dma_data-addr_width; /* 根据音频格式设置burst长度 */ switch (params_format(params)) { case SNDRV_PCM_FORMAT_S16_LE: config.src_maxburst 4; /* 每次burst传输4个采样 */ config.dst_maxburst 4; break; case SNDRV_PCM_FORMAT_S24_LE: case SNDRV_PCM_FORMAT_S32_LE: config.src_maxburst 2; config.dst_maxburst 2; break; default: dev_err(i2s-dev, unsupported format\n); return -EINVAL; } ret snd_dmaengine_pcm_set_config_from_dai_data(substream, dma_data, config); if (ret) return ret; /* 将配置应用到DMA通道 */ return snd_dmaengine_pcm_prepare_slave_config(substream, params, config); }5.3 IOMMU集成虚拟地址连续化Rockchip高端芯片集成了IOMMU解决物理内存碎片问题使DMA能够使用虚拟连续地址。/** * file drivers/iommu/rockchip-iommu.c * brief Rockchip IOMMU驱动 * * 该驱动允许DMA引擎使用虚拟地址解决大尺寸CMOS应用中的物理连续内存分配问题。 */ ​ /** * struct rk_iommu_domain * brief IOMMU域结构管理设备的地址映射 */ struct rk_iommu_domain { struct iommu_domain domain; struct device *dev; /* 代理设备用于DMA API */ u32 *dt; /* 页表 */ spinlock_t iommu_lock; /* 记录映射关系 */ struct rb_root mappings; struct list_head iommus; /* 属于此域的所有IOMMU设备 */ }; ​ /** * brief IOMMU映射函数 - 将物理地址映射到设备虚拟地址空间 */ static int rk_iommu_map(struct iommu_domain *domain, unsigned long _iova, phys_addr_t paddr, size_t size, int prot, gfp_t gfp) { struct rk_iommu_domain *rk_domain to_rk_domain(domain); u32 *page_table rk_domain-dt; u32 iova _iova; u32 pte; long i; dev_dbg(rk_domain-dev, map iova 0x%lx, paddr 0x%pa, size 0x%zx\n, _iova, paddr, size); /* 计算需要映射的页数 */ for (i 0; i size / SPAGE_SIZE; i) { u32 pte_addr rk_mk_pte(paddr, prot); u32 idx rk_iova_page_index(iova); /* 写入页表项 */ page_table[idx] pte_addr; iova SPAGE_SIZE; paddr SPAGE_SIZE; } /* 刷新TLB */ rk_iommu_flush_tlb(rk_domain); return 0; }6. 性能优化资深指南基于以上架构分析针对多设备并行DMA的优化策略6.1 QoS优先级调优# 查看当前QoS设置 (如果debugfs已挂载) cat /sys/kernel/debug/qos/qos_list ​ # 通过sysfs调整设备优先级需要驱动支持 echo 12 /sys/class/misc/xxx/qos_priority6.2 缓存一致性优化/** * brief DMA缓冲区映射的最佳实践 * * 对于高性能、多并发的DMA传输应使用dma_map_resource并指定正确的方向 */ static int rockchip_dma_prepare_buffer(struct device *dev, void *cpu_addr, size_t size, enum dma_data_direction dir) { dma_addr_t dma_handle; int ret; /* 映射DMA缓冲区 */ dma_handle dma_map_single(dev, cpu_addr, size, dir); if (dma_mapping_error(dev, dma_handle)) { dev_err(dev, DMA mapping failed\n); return -ENOMEM; } /* 对于non-coherent设备需要确保cache被正确刷新 */ dma_sync_single_for_device(dev, dma_handle, size, dir); /* ... 使用dma_handle配置硬件 ... */ return 0; } ​ /** * brief 缓冲区使用完成后必须解映射 */ static void rockchip_dma_release_buffer(struct device *dev, dma_addr_t dma_handle, size_t size, enum dma_data_direction dir) { /* 对于non-coherent设备确保CPU看到最新的数据 */ dma_sync_single_for_cpu(dev, dma_handle, size, dir); /* 解映射 */ dma_unmap_single(dev, dma_handle, size, dir); }6.3 大尺寸CMOS应用的特别优化针对4K/8K摄像头捕获应采用以下策略/** * brief 大尺寸CMOS DMA优化要点 * * 1. 使用IOMMU分配虚拟连续地址避免物理内存碎片 * 2. 启用ping-pong双缓冲消除DMA等待时间 * 3. 为每个流分配独立的DMA引擎RK3568/RK3588支持 * 4. 设置高QoS优先级确保视频流带宽 * 5. 使用dma_alloc_coherent分配一致性内存减少同步开销 */ ​ /* 示例分配一致性的DMA缓冲区 */ static int alloc_coherent_buffer(struct device *dev, size_t size, struct dma_buf_info *buf) { /* dma_alloc_coherent 返回的缓冲区已经是cache一致的 * 不需要手动调用dma_sync_*适合高频视频流 */ buf-vaddr dma_alloc_coherent(dev, size, buf-dma_addr, GFP_KERNEL); if (!buf-vaddr) return -ENOMEM; buf-size size; return 0; }7. 调试与故障定位7.1 DMA通道使用情况监控# 查看PL330 DMA控制器状态 cat /sys/kernel/debug/dmaengine/summary ​ # 输出示例 # dma0 (pl330): chan0 chan1 chan2 chan3 chan4 chan5 chan6 chan7 # fe530000.dma-controller: busy idle idle idle idle idle idle idle ​ # 查看特定设备的DMA映射情况 cat /proc/iomem | grep -i dma7.2 常见DMA问题及代码位置问题现象可能原因内核代码位置调试方法DMA传输超时中断丢失或硬件卡死drivers/dma/pl330.c检查/proc/interrupts中断计数内存数据错误缓存一致性问题arch/arm64/mm/cache.S检查驱动是否调用dma_sync_*DMA分配失败IOMMU配置错误drivers/iommu/rockchip-iommu.c检查dmesg \| grep IOMMU多流冲突QoS优先级不足drivers/soc/rockchip/rockchip_pm_config.c调整设备QoS设置核心要点回顾DMA并行性Rockchip中高端芯片RK3399/RK3568/RK3588的DMA架构是真正并行的关键外设拥有独立DMA引擎无需全局排队。只有共享PL330通道的低速设备才可能因通道不足而排队。大尺寸CMOS支持RK3568开始支持多通道并行DMA捕获最多4路独立DMA引擎为4K/8K多摄像头应用提供了硬件基础。缓存一致性RK3588引入dma-noncoherent特性需要在驱动中正确维护缓存一致性这是高性能并行DMA的关键。QoS优先级Rockchip允许为不同设备配置总线优先级确保关键数据流视频获得足够带宽。故障定位从init/main.c到kernel/panic.c我们梳理了系统启动到崩溃的完整代码路径为稳定性调试提供了精确的代码级参考。面对Rockchip平台的多设备DMA并发场景优先使用专用DMA引擎的设备网络、视频、摄像头、显示合理规划共享PL330通道的使用避免通道耗尽为视频流设置高QoS优先级确保带宽正确维护缓存一致性特别是在RK3588平台上利用IOMMU解决大内存分配问题减少物理连续内存依赖