DRLinSPH: an open-source platform using deep reinforcement learning and SPHinXsys for fluidstructure-interaction problemsDRLinSPH基于深度强化学习和 SPHinXsys 的流固耦合问题开源平台叶脉a, 马浩a,b, 任雅茹c, 张驰d, Oskar J. Haidna and Xiangyu Huaa 慕尼黑工业大学工程与设计学院b 郑州航空工业管理学院航空宇航学院c 四川大学山区河流保护与治理全国重点实验室d 华为技术有限公司慕尼黑研究中心引用格式Mai Ye, Hao Ma, Yaru Ren, Chi Zhang, Oskar J. Haidn Xiangyu Hu (2025) DRLinSPH: an open-source platform using deep reinforcement learning and SPHinXsys for fluid-structure-interaction problems, Engineering Applications of Computational Fluid Mechanics, 19:1, 2460677, DOI: 10.1080/19942060.2025.2460677摘要本文提出了一个名为DRLinSPH的开源平台结合了深度强化学习Deep Reinforcement Learning, DRL与基于光滑粒子流体动力学Smoothed Particle Hydrodynamics, SPH的仿真框架 SPHinXsys用于解决复杂的流固耦合Fluid-Structure Interaction, FSI问题。该平台通过将DRL平台Tianshou与SPHinXsys相集成实现了多场景下的并行训练包括刚性和弹性挡板下的液体晃动抑制、波浪能捕获优化以及应变驱动的仿生鱼游动控制。在多个案例中平台展现出优异的准确性、稳定性与可扩展性例如刚性挡板可减少最高达68.81%的波高。结果证明DRLinSPH能有效提升复杂流固耦合问题的求解能力具有良好的工业应用前景。研究背景流固耦合问题广泛存在于工程实践中如液舱晃动控制、水波能量转换、仿生游动等。这类问题通常具有高度非线性、强耦合、多自由度等特点对求解算法的稳定性、精度与计算效率提出了极高要求。然而目前主流的数值求解方法多依赖于基于网格的计算流体力学技术。这些方法虽然在定常边界和小变形条件下表现良好但在面对大变形、界面破裂或拓扑变化时容易出现网格扭曲、精度丧失甚至计算失败等问题。在控制策略方面传统的优化算法如梯度法、遗传算法等在高维、非凸优化任务中往往面临搜索效率低、对初值敏感、难以处理约束等限制难以满足复杂FSI问题对实时性与智能化控制的需求。近年来深度强化学习DRL因其强大的非线性拟合能力和端到端策略学习优势成为解决高维动态控制问题的新兴手段。然而现有的DRL在流体力学中的应用多数仍依赖于OpenFOAM等网格型求解器这在处理大变形FSI问题时同样面临稳定性与扩展性不足的困境。综上目前尚缺乏一个专门面向FSI问题、支持无网格数值方法与DRL有机结合的开源平台限制了智能优化方法在复杂物理系统中的广泛应用。平台构建DRLinSPH旨在将基于Python的深度强化学习DRL平台与基于C无网格流体仿真环境团队自研SPHinXsys高效耦合以实现对流-固耦合FSI问题的智能控制与优化。该平台整体架构包括三个核心组成部分图1-DRLinSPH平台架构图2-DRL智能体与并行CFD环境交互流程算例研究论文通过四个具体算例验证了DRLinSPH平台在流固耦合问题中的有效性与适应性涵盖刚性结构控制、弹性结构驱动、能量捕获优化及仿生运动控制等典型场景。算例1是二维矩形水箱中的液体晃动抑制采用两个可控的刚性挡板垂直运动来减小液面波动。实验比较了不同观测特征数量和不同DRL算法SAC与PPO的表现结果表明SAC能更快找到最优策略且波高抑制率高达68.81%。相比文献中的TD3方法本文优化了动作定义与惩罚机制使挡板速度更加平滑增强了工程可行性。算例2研究弹性挡板主动控制对晃动的影响。在参考已有被动弹性板实验的基础上本文通过在挡板结构中施加周期性主动应变控制其变形幅度。经训练后SAC智能体能自动调节应变幅值使挡板变形与液面运动相反形成“负功”从而降低流体动能波高平均降低42.92%。同时主动变形大幅提升了结构响应的效率显著改变了系统频率特性。图3-弹性挡板主动控制对液面晃动的影响算例3为波浪能装置OWSCOscillating Wave Surge Converter的阻尼调控优化。通过调节铰接阻尼系数实现波浪作用下转动叶片的能量最大化。结果显示SAC能学习到与波峰同步提高阻尼、波谷降低阻尼的周期性策略在固定阻尼最优条件下进一步提升能量捕获效率8.25%并有效控制了结构偏转角提升了装置的工作稳定性。算例4为仿生鱼在涡街环境中的直线游动控制。通过主动控制鱼体肌肉应变实现鱼体协调摆动以克服复杂涡流干扰保持直线前行。DRLinSPH平台在仿真过程中有效耦合结构运动与流场演化训练出的策略能使鱼体在不同速度入口条件下稳定游动体现出平台在复杂非线性FSI系统中的适应性和稳定性。图4-控制策略对仿生鱼游动路径的影响总结本文提出的面向流固耦合问题的开源平台DRLinSPH实现了对复杂非线性耦合系统的高效建模与智能控制。平台基于模块化设计可适配多种类型的结构刚性/弹性与控制形式位移控制/应变驱动/阻尼调节并支持并行训练以提升采样效率与策略优化效果。通过四个代表性算例验证了其具备处理高维、强耦合、非线性流-固耦合问题的能力为将深度强化学习应用于工业流体仿真与控制提供了新思路和开放工具。未来工作可进一步扩展至三维问题、多智能体协同控制以及数据驱动模型融合等方向以更好地应对实际工程中的复杂耦合系统。公众号原文链接文末附论文资源https://mp.weixin.qq.com/s/Y5rmPuJLEp7uk6mckx7mdw?scene1click_id1注本文由论文原作者整理并投稿分享获作者授权发布。