我们之前的文章中介绍了SerialCables公司研发的广泛用于研发测试实验室的4-盘位PCIe 5.0 SSD主机卡以及可以同时9个甚至12个PCIe 6.0 SSD的PCIe 6.0 SSD主机卡感兴趣的可以查询saniffer公众号阅读之前的文章和拍摄的高清视频上述两张卡分别参见下面的图片。PCIe 5.0 host card (左边支持4颗SSD)PCIe 6.0 host card (左边支持4颗SSD右边支持4颗顶部根据使用转接卡或者其它4*ssd adapter分别支持1颗或者4颗SSD)另外随着PCIe 5.0 SSD的成熟有些用户希望可以有更具性价比、同时可以测试8块PCIe 5.0 SSD的主机卡。我们今天的视频就是演示了这张卡。【高清视频】基于Broadcom PCIe 5.0 交换芯片的8盘位SSD测试卡下面是一份基于我们拍摄的演示视频整理而成的文字总结。 我在原视频内容顺序与技术事实的前提下对表达做了一定的整理让逻辑更清晰、衔接更自然仅供感兴趣的朋友快速阅读。基于 Broadcom Gen5 Switch 的可接8个SSD的测试方案演示总结一、视频背景与演示目的本视频主要展示了一套基于 Broadcom PCIe Gen5 Switch 芯片的多盘 SSD 测试解决方案重点演示该 Switch 卡在真实系统环境中是否能够正确枚举多块 NVMe SSD是否能够在PCIe Gen5 速率下稳定工作在短时间压力测试后是否出现掉盘或降速问题整体目标非常明确验证这套 Gen5 Switch MCIO 线缆方案在实际 SSD 测试场景中的可用性与稳定性二、Switch 硬件架构与接口配置说明1. Switch 芯片与整体架构该方案采用的是Broadcom PCIe Gen5 Switch 芯片属于当前服务器与测试环境中较为主流、成熟的 Gen5 交换方案之一上行Uplink16 lanes PCIe 接收下行Downlink4 个MCIO x8 Gen5 接口这种架构非常适合用于多盘 SSD 功能测试Gen5 SSD 稳定性与兼容性验证MCIO 到 U.2 / EDSFF 的灵活拓展测试2. MCIO 接口与线缆拓展方式视频中特别强调了MCIO x8 接口的灵活性每一个 MCIO x8 端口都可以通过不同类型的线缆适配不同测试需求在本次演示中采用的是MCIO Gen5 x8 → 2 × Gen5 x4 U.2 的 Y 型线缆每根线缆可连接2 块 U.2 NVMe SSD因此4 个 MCIO x8共可挂载8 块 Gen5 x4 SSD理论最大本次实际演示挂载了4 块 SSD用于稳定性与枚举验证三、供电方式与实际接线说明视频中特别点出了一个非常工程化、但常被忽略的细节两块 U.2 SSD共用一个标准 4-Pin 电源接口供电这在测试环境中非常常见也意味着供电完整性电流瞬态多盘同时启动都会成为潜在影响稳定性的关键因素因此也是测试时需要重点关注的部分四、上电与系统级验证流程1. 开机后的第一步设备枚举检查演示中明确指出开机的首要目的不是跑性能而是验证枚举是否正确系统启动后首先确认Switch 是否被正确识别下挂的 4 块 SSD 是否全部被枚举这是任何 PCIe Switch 测试中最基础、但也是最关键的一步2. 关于板卡状态指示的说明该 Switch 卡没有明显的 LED 状态指示灯板载风扇并非上电即转而是由温度传感或温控逻辑触发因此无法通过肉眼或指示灯判断当前状态是否正常必须进入系统检查这一点在真实测试与运维环境中非常重要也凸显了系统级软件检查的必要性。五、Linux 系统下的实际验证过程1. PCIe 枚举检查lspci进入系统后演示者通过lspci确认Broadcom Gen5 Switch 已被系统识别下游设备正确显示能看到 4 块 NVMe SSD其中包括2 块三星 SSD明确为 Gen51 块英特尔1 块西数2. NVMe 设备节点确认nvme list随后通过nvme list确认所有 SSD 都被正确挂载设备节点存在且状态正常这是验证PCIe NVMe 协议层协同是否正常的关键步骤六、短时间压力测试与稳定性验证1. FIO 压力测试设置演示中选取了一块三星 Gen5 SSD进行简单压力测试测试工具fio测试模式随机读写队列深度QD32测试时长约 10 秒该测试的目的并非跑极限性能而是验证在 IO 压力下SSD 是否会掉盘报错发生链路降级2. 压力测试后的状态检查测试结束后结果显示IO 过程正常完成未出现异常报错SSD 仍保持在线状态这说明Switch MCIO U.2 SSD 的组合在该测试条件下是稳定的七、速率与链路状态确认在完成压力测试后演示者进一步确认该三星 SSD 仍然维持在PCIe Gen5 x4 速率没有发生降速Link Retrain 后退级这一步非常关键因为在高代际 PCIe 中“能跑”和“持续跑在正确速率”是两回事八、整体结论与工程意义1. 本次演示的结论从视频演示结果来看Broadcom Gen5 Switch 架构工作正常MCIO x8 → U.2 的线缆方案可行多盘 SSD枚举正常压力下稳定速率未退化在“简单但真实”的测试条件下该方案具备实际使用价值2. 从测试与验证角度的补充说明拓展结合工程实践这套方案非常适合用于PCIe Gen5 SSD 功能验证多盘并发稳定性测试MCIO 线缆与转接方案验证后续扩展到EDSFF更高功耗 SSD更长时间压力与热测试但如果进入更严苛的验证阶段还建议进一步增加长时间 FIO 压力多盘同时满载温度与功耗监控PCIe 协议级分析错误注入、重传观察九、总结性一句话该视频展示了一套结构清晰、工程合理、适合 PCIe Gen5 SSD 测试的 Switch MCIO 解决方案并通过实际系统验证证明了其在多盘场景下的基本稳定性与可用性。