在前文中我们分析了 GPU VM、aperture 以及 libhsakmt 实现的不同类型 apertures。本文将深入探讨更细粒度的地址空间管理单元vm_object。至此整个VM空间的层次关系呼之欲出用图例展示一下。在详细介绍 vm_object 的概念和实现之前我们首先需要理解 libhsakmt 中定义的内存分配标志结构HsaMemFlags以及它如何影响内存的分配、映射和管理。1. 概述HsaMemFlags是一个位域结构体定义在hsakmttypes.h中用于精确控制异构系统中内存的分配行为和属性。它的设计体现了 ROCm 异构计算环境中对内存管理的细粒度控制需求涵盖了从基本的分页策略到高级的原子操作支持等多个维度。1.1 结构定义typedefstruct_HsaMemFlags{union{struct{unsignedintNonPaged:1;// 不可分页内存unsignedintCachePolicy:2;// 缓存策略unsignedintReadOnly:1;// 只读内存unsignedintPageSize:2;// 页面大小unsignedintHostAccess:1;// CPU 访问权限unsignedintNoSubstitute:1;// 禁止内存替换unsignedintGDSMemory:1;// GDS 内存分配unsignedintScratch:1;// Scratch 内存unsignedintAtomicAccessFull:1;// 完整原子操作unsignedintAtomicAccessPartial:1;// 部分原子操作unsignedintExecuteAccess:1;// 可执行内存unsignedintCoarseGrain:1;// 粗粒度一致性unsignedintAQLQueueMemory:1;// AQL 队列内存unsignedintFixedAddress:1;// 固定地址分配unsignedintNoNUMABind:1;// 不绑定 NUMA 节点unsignedintUncached:1;// 非缓存细粒度unsignedintNoAddress:1;// 仅分配 VRAMunsignedintOnlyAddress:1;// 仅分配地址空间unsignedintExtendedCoherent:1;// 扩展一致性unsignedintGTTAccess:1;// GART 映射unsignedintContiguous:1;// 连续 VRAMunsignedintExecuteBlit:1;// Blit 内核对象unsignedintQueueObject:1;// 队列对象unsignedintReserved:7;// 预留位}ui32;HSAuint32 Value;};}HsaMemFlags;2. 标志位详解2.1 基本内存属性标志位说明使用场景NonPaged分配不可分页内存避免页面错误GPU 操作需要确定性访问延迟VRAM 分配CachePolicy缓存策略HSA_CACHING_CACHED、NONCACHED、WRITECOMBINED影响 CPU/GPU 访问性能根据访问模式选择ReadOnly标记内存为只读保护数据不被修改常量缓冲区、代码段、共享只读数据PageSize页面大小4KB/64KB/2MB/1GB大页面减少 TLB miss提升大缓冲区性能2.2 访问控制标志位说明使用场景HostAccess控制 CPU 是否可访问该内存未设置时内存仅 GPU 可见提升安全性和性能NoSubstitute请求的内存类型不可用时禁止回退到系统内存严格的内存分配语义确保使用特定内存类型ExecuteAccess标记内存用于可执行代码或队列影响页属性设置队列内存必须设置此标志2.3 特殊内存区域标志位说明使用场景GDSMemory从 Global Data Share (GDS) 堆分配GPU 间同步、原子操作、跨 CU 通信Scratch从 GPU Scratch 区域分配内核执行时的临时数据、寄存器溢出AQLQueueMemory标记为 AQL 队列内存确保队列内存最优位置和对齐GTTAccess映射到 GART (Graphics Address Remapping Table)MES、图形或 SDMA 操作需要 GTT 空间2.4 原子操作支持标志位说明使用场景AtomicAccessFull支持完整原子操作集APU 使用 ATC 路径需要所有原子操作的系统内存访问AtomicAccessPartial支持部分原子操作PCIe Atomics独立 GPU 通过 PCIe 的有限原子操作SWAP/CAS/FetchAddExtendedCoherent原子指令的系统级一致性确保跨所有设备的原子操作一致性2.5 一致性模型标志位说明使用场景CoarseGrain粗粒度一致性仅在同步点强制一致性减少同步开销适合大多数 GPU 计算场景Uncached细粒度分配的非缓存内存AA 平台控制缓存行为细粒度内存访问2.6 高级分配控制标志位说明使用场景FixedAddress在指定虚拟地址分配内存互操作场景、固定地址布局需求NoNUMABind不绑定到特定 NUMA 节点OS 灵活分配负载均衡优化NoAddress分配 VRAM 但不分配虚拟地址返回句柄仅需内存句柄的场景延迟地址分配OnlyAddress仅分配虚拟地址空间不分配物理内存地址预留、分阶段内存分配Contiguous分配连续的 VRAM某些硬件特性或 DMA 传输要求ExecuteBlit用于 Blit 内核对象图形位块传输操作QueueObjectAQL 队列对象用于 CPU 访问读指针Windows 平台队列管理3. 典型使用场景与代码示例3.1 GPU 计算缓冲区为 GPU 计算分配一个 CPU/GPU 共享的缓冲区HsaMemFlags flags{0};flags.ui32.NonPaged1;// 不可分页flags.ui32.CachePolicyHSA_CACHING_CACHED;// 启用缓存flags.ui32.PageSizeHSA_PAGE_SIZE_4KB;// 4KB 页flags.ui32.HostAccess1;// CPU 可访问flags.ui32.CoarseGrain1;// 粗粒度一致性标志位选择说明NonPaged 1GPU 需要确定性访问避免页面错误CachePolicy CACHEDCPU 会频繁访问启用缓存提升性能HostAccess 1CPU 需要读写数据CoarseGrain 1减少同步开销在显式同步点保证一致性3.2 仅 GPU 访问的 VRAM分配高性能的纯 GPU 本地内存HsaMemFlags flags{0};flags.ui32.NonPaged1;// VRAM 必须不可分页flags.ui32.HostAccess0;// CPU 不访问flags.ui32.PageSizeHSA_PAGE_SIZE_64KB;// 大页面减少 TLB missflags.ui32.CoarseGrain1;性能优化点HostAccess 0避免 CPU aperture 映射开销PageSize 64KB大页面提升 GPU 访问效率VRAM 访问带宽远高于系统内存3.3 AQL 队列内存为 HSA 队列分配专用内存HsaMemFlags flags{0};flags.ui32.NonPaged1;flags.ui32.HostAccess1;// CPU 写入命令包flags.ui32.ExecuteAccess1;// 可执行内存flags.ui32.AQLQueueMemory1;// 队列专用标志flags.ui32.CoarseGrain1;flags.ui32.PageSizeHSA_PAGE_SIZE_4KB;关键标志ExecuteAccess 1队列内存必须设置可执行属性AQLQueueMemory 1KFD 确保最优位置和对齐3.4 原子操作内存APU在 APU 上分配支持完整原子操作的内存HsaMemFlags flags{0};flags.ui32.NonPaged1;flags.ui32.HostAccess1;flags.ui32.AtomicAccessFull1;// 完整原子操作支持flags.ui32.PageSizeHSA_PAGE_SIZE_4KB;APU vs 独立 GPUAPUAtomicAccessFull使用 ATC 路径支持所有原子操作独立 GPU使用AtomicAccessPartial仅支持 PCIe 原子操作SWAP/CAS/FetchAdd3.5 固定地址分配互操作在特定地址分配内存用于与其他组件互操作HsaMemFlags flags{0};flags.ui32.NonPaged1;flags.ui32.FixedAddress1;// 固定地址分配flags.ui32.HostAccess1;3.6 两阶段分配NoAddress OnlyAddress高级场景分离物理内存和虚拟地址分配// 阶段 1分配 VRAM不分配虚拟地址HsaMemFlags flags1{0};flags1.ui32.NonPaged1;flags1.ui32.NoAddress1;// 仅物理内存返回句柄// 阶段 2为句柄分配虚拟地址空间HsaMemFlags flags2{0};flags2.ui32.OnlyAddress1;// 仅虚拟地址4. 标志位组合规则与限制4.1 互斥标志以下标志位不能同时设置组合原因CoarseGrainExtendedCoherent一致性模型冲突ExtendedCoherentUncached一致性与缓存策略冲突NoAddressOnlyAddress分配语义冲突实现中的检查if((MemFlags.ui32.CoarseGrainMemFlags.ui32.ExtendedCoherent)||(MemFlags.ui32.ExtendedCoherentMemFlags.ui32.Uncached))returnHSAKMT_STATUS_INVALID_PARAMETER;if(MemFlags.ui32.OnlyAddressMemFlags.ui32.NoAddress)returnHSAKMT_STATUS_INVALID_PARAMETER;4.2 特殊内存区域限制GDS 内存必须GDSMemory 1禁止HostAccess 1CPU 不能直接访问 GDS建议其他标志除NoSubstitute应为 0Scratch 内存必须Scratch 1禁止HostAccess 1限制不支持Alignment参数4.3 页面大小与对齐page_sizePageSizeFromFlags(MemFlags.ui32.PageSize);// 4KB, 64KB, 2MB, 1GB// 对齐要求if(Alignment(Alignmentpage_size||!POWER_OF_2(Alignment)))returnHSAKMT_STATUS_INVALID_PARAMETER;对齐值必须≥ 指定的页面大小是 2 的幂如果为 0使用最小对齐页大小5. 性能考虑与最佳实践5.1 页面大小选择页面大小适用场景优势劣势4KB小缓冲区、默认分配灵活、内存利用率高TLB miss 率高64KB中等缓冲区平衡性能和内存使用轻微内存浪费2MB大缓冲区几百 MBTLB miss 显著减少内存对齐要求高1GB超大缓冲区几 GB极少 TLB miss内存碎片风险推荐默认使用 4KB缓冲区 64MB 时考虑 64KB 页缓冲区 512MB 时考虑 2MB 页5.2 缓存策略选择// 定义在 hsakmttypes.htypedefenum_HSA_CACHING_TYPE{HSA_CACHING_CACHED0,// 完全缓存HSA_CACHING_NONCACHED1,// 完全非缓存HSA_CACHING_WRITECOMBINED2// 写合并}HSA_CACHING_TYPE;选择指南CachedCPU 频繁读写、数据局部性好NonCachedCPU 很少访问、需要强一致性WriteCombinedCPU 主要写入、GPU 主要读取5.3 一致性模型权衡CoarseGrain推荐优势性能开销低适合大多数场景要求在同步点fence、barrier显式同步使用flags.ui32.CoarseGrain 1FineGrain谨慎使用优势自动保证一致性编程简单劣势性能开销高需要硬件支持ATC使用CoarseGrain 0Uncached 05.4 NUMA 优化在多 NUMA 节点系统上// 绑定到特定 NUMA 节点默认行为HsaMemFlags flags{0};flags.ui32.NoNUMABind0;// 绑定到 PreferredNode// 允许任意 NUMA 节点flags.ui32.NoNUMABind1;// OS 灵活分配性能影响绑定保证局部性性能可预测不绑定灵活性高可能跨节点访问6. 常见问题与调试6.1 标志位组合错误常见错误同时设置互斥标志如CoarseGrainExtendedCoherent页面大小与对齐要求不匹配特殊内存区域标志配置错误如 GDS、Scratch解决方法参考第 4 节的组合规则与限制检查标志位的依赖关系使用简化的标志组合进行测试6.2 性能问题诊断TLB miss 过多症状GPU 计算性能低于预期解决增大页面大小64KB 或 2MB缓存一致性开销症状频繁同步时性能下降解决使用CoarseGrain并优化同步点跨节点内存访问症状APU dGPU 系统性能不稳定解决检查NoNUMABind设置确保内存靠近访问者7. 总结HsaMemFlags是 ROCm 异构内存管理的核心抽象它通过 23 个标志位提供了对内存分配行为的精确控制。理解这些标志位的含义、组合规则和性能影响是深入理解 libhsakmt 内存管理机制的基础。关键要点标志位分类基本属性、访问控制、特殊区域、原子操作、一致性模型、高级控制一致性模型优先使用CoarseGrain以获得更好性能页面大小根据缓冲区大小选择合适的页面大小原子操作APU 和独立 GPU 的原子支持机制不同组合规则注意互斥标志遵循特殊内存区域的限制通过合理配置HsaMemFlags可以为 ROCm 应用实现高效、灵活的内存管理策略为后续的内存分配、映射、注册操作奠定基础。