适用于RTC的窄带高清方案2.0

基于前面的文章适用于RTC的窄带高清方案1.0-CSDN博客我们继续讨论新的窄带高清2.0方案。上个文章对于视频前处理去噪和后处理增强模块在编解码器不动的情况下同等清晰度(vmaf指标)下带宽降低了30%~40%。这里我们更进一步讨论编解码器与后处理的联动同清晰度下如何降低到60%~70%的带宽的技术方案。同样的我们把先前的技术文章链接帖上yuv420p视频基于噪声估计的极速去噪demo-CSDN博客yuv420p视频前处理去噪/磨皮demo-CSDN博客https://blog.csdn.net/kaifu/article/details/162915335https://blog.csdn.net/kaifu/article/details/134311929https://blog.csdn.net/kaifu/article/details/162010948这里除了前处理和窄带高清方案1.0一样我们对编码器换成了支持SVC-L3T3编码的libvpx-vp9。基于我们的性能优化和最重要的一点是把超分用于SVC层间补偿。不仅大大地降低了vp9编码的复杂度同时还提升了svc的压缩性能。这样在每层重建的画质可控然后在接收端可以通过超帧和超分将流畅度和清晰度进行改进。同样的正如我们在https://blog.csdn.net/kaifu/article/details/163002251 这篇文章中所提到的。我们的编码和传输超帧超分模块也受到终端应用页面布局的约束以最优化端侧的计算资源与传输带宽。做到按需要生产传输与消费完全是可伸缩的架构后处理增强也可以做到按需配置运行。设计架构图如下窄带高清方案2.0架构图设计要点维度设计说明串联优先级调度器支持 “超帧→超分”主流先补流畅度再抠细节。模块独立旁路每个模块都设有直通Bypass开关。若当前画面帧率/分辨率已达标可单独关闭任一模块节省接收端算力与功耗。级联叠加效果两者串联时上一模块的输出直接作为下一模块的输入源实现 11 2 的画质增益例如先将15fps插帧至30fps再将720p超分至1080p。调度决策依据调度器综合 实时解码帧率、当前播放分辨率、设备CPU/GPU负载、网络带宽趋势 四个维度决策启用哪一路级联顺序及各模块的开关状态。Libvpx-vp9空时域svcL3T3共产生9个子流最小流50~90kbps。窄带高清2.0方案下RTC抗弱网能力有了质的提高在只有音频流大小的带宽下接收端可以接收最小的320x180p7.5流vp9解码后结合超帧、超分可以播放渲染到流畅清晰的360p15画面。同等清晰度下带宽直接降低60%~70%。