点击上方“小白学视觉”选择加星标或“置顶” 重磅干货第一时间送达你是不是也遇到过这种情况阳光正好时想拍张逆光大片结果照片里全是乱糟糟的光斑、条纹晚上拍路灯画面糊成一片连星星点点的光源都看不清这些讨厌的光污染在计算机视觉里被称为镜头眩光不仅影响颜值还会让自动驾驶的目标检测、监控识别等任务频频出错。最近TPAMI 2025上的一篇论文《基于对抗曲线学习的图像镜头眩光去除》给出了新思路不仅能把眩光擦得干干净净还能保住画面里的每一个光源甚至换个手机拍的图也能完美处理今天就来聊聊这篇论文有多神论文信息题目Image Lens Flare Removal Using Adversarial Curve Learning基于对抗曲线学习的图像镜头眩光去除作者Yuyan Zhou, Dong Liang, Songcan Chen, Sheng-Jun Huang源码https://github.com/YuyanZhou1/Improving-Lens-Flare-Removal先吐槽以前的去眩光方法问题真不少其实科学家们早就开始研究去眩光了但效果一直不尽如人意。最大的麻烦在于——没有足够的配对数据。你想啊要训练AI去除眩光得有带眩光的图和对应的无眩光原图吧但现实中很难拍到完全一样的两张图所以大家只能靠合成数据。以前合成数据的思路特别简单找一张正常图再叠一张纯眩光图直接相加就完事了。但这方法有俩大bug**画面容易过曝**就像图1左边那样强光地方一片惨白细节全没了因为它没考虑相机的自动曝光和色调映射简单说就是相机处理光线的独特套路。光源留不住AI经常把光源当成眩光一起删掉或者用硬阈值判断比如亮度超过0.99才算光源结果要么漏了暗一点的光源要么多个光源只留一个图1右边就是反例。图1左边是传统合成方法的过曝问题右边是旧方法漏检光源的尴尬新方法放大招从合成数据到泛化能力全升级这篇论文的厉害之处在于从根上解决问题。团队一口气放了四个大招咱们一个个看大招1会模仿相机的合成管道数据更真实相机拍照时从传感器接收到光线到最终出图要经过一整套图像信号处理ISP流程比如色调映射把强光压暗、弱光提亮、伽马校正让颜色更符合人眼感知。以前的合成方法完全不管这些难怪合成的图不真实。新方法聪明在哪它在伽马反转空间里搞事情给场景图和眩光图的每个像素算账——根据亮度分配权重。亮的地方比如光源附近眩光占比高暗的地方场景图占比高。就像给两张图做智能混合既不会过曝又符合相机的真实成像逻辑。看下面的图4传统方法合成的图亮度明显偏亮红色曲线而新方法合成的图蓝色曲线和真实逆光图绿色曲线几乎重合用这种数据训练AI效果能差吗图4新方法合成的数据亮度分布更接近真实照片大招2对抗曲线学习换手机拍也不怕你可能发现过用iPhone拍的图去眩光效果好换成安卓就拉胯因为不同手机的ISP不一样处理光线的套路千差万别AI很容易认死理。论文团队把这个问题变成了对抗游戏训练一个曲线生成网络专门给当前AI制造最难处理的光线情况模拟不同手机的ISP同时训练去眩光网络努力适应这些刁难。就像练武术时找各种风格的对手过招练出来自然身手不凡。结果就是不管是iPhone、小米、华为还是iPad拍的图AI都能稳稳拿捏。比如下面的图9旧方法在iPad拍的图上连眩光条纹都去不掉新方法不仅能清干净还不影响画面其他部分。图9不同设备拍摄图像的去眩光效果对比ACL是论文提出的方法大招3多光源恢复大小明暗都能留拍夜景时天上的月亮、路边的路灯、远处的车灯怎么让AI既去掉眩光又把这些光源都保留下来以前用硬阈值的方法太死板亮一点的留得住暗一点的就没了。新方法用了个软技巧选一个强凸函数当权重比如x的15次方。简单说就是让亮度越高的地方权重越大——光源作为最亮的部分自然会被重点保留而周围的眩光则被过滤掉。不管是单个月亮还是一群路灯都能原原本本留下来看图7和图8。图7左边是旧方法漏检夜间光源右边是新方法完美恢复月亮和路灯图8新方法能同时恢复多个不同大小的光源大招4新数据集上线15种设备拍了300张图想测试AI的真实能力得有靠谱的测试集。以前的数据集要么设备单一要么眩光类型少根本测不出AI的泛化力。团队专门收集了15种消费电子设备从iPhone 11到华为Mate 40甚至还有iPad拍的300张图白天晚上都有眩光的形状、颜色、位置五花八门看图5。有了这个数据集谁的方法真好用一测就知道图5新数据集中不同设备拍摄的眩光图像形状颜色各不相同效果有多牛看对比就知道话不多说直接上结果。在定性对比里图6传统方法要么去不干净眩光要么把画面搞得灰蒙蒙专门去夜间眩光的方法白天就歇菜。而新方法不管白天黑夜眩光清得干干净净画面还特别通透。图6不同方法的去眩光效果对比最后一列是论文方法定量指标更能说明问题在PSNR峰值信噪比和SSIM结构相似性这两个衡量图像质量的硬指标上新方法远超传统方法甚至用了Transformer的Uformer模型搭配新合成数据效果还能再上一个台阶。更绝的是对下游任务的帮助。比如目标检测图12带眩光的图里YOLOv5把眩光当成汽车、交通灯连被眩光挡住的椅子都没认出来用新方法去眩光后检测器瞬间擦亮眼睛该认的全认对了图12去眩光后目标检测效果明显提升一点小遗憾和未来可期当然新方法也不是完美的对抗曲线学习需要同时训练两个网络计算成本翻倍训练时间和内存消耗都增加了。但为了换来得心应手的泛化能力这点代价似乎很值。总的来说这篇论文从数据合成、模型泛化、光源恢复三个核心问题入手一步步破解了镜头眩光的难题。以后不管用什么设备拍逆光、夜景再也不怕眩光毁片了 对了论文的源码已经开源感兴趣的小伙伴可以去扒一扒细节下载1OpenCV-Contrib扩展模块中文版教程在「小白学视觉」公众号后台回复扩展模块中文教程即可下载全网第一份OpenCV扩展模块教程中文版涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。下载2Python视觉实战项目52讲在「小白学视觉」公众号后台回复Python视觉实战项目即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目助力快速学校计算机视觉。下载3人工智能0基础学习攻略手册在「小白学视觉」公众号后台回复攻略手册即可获取《从 0 入门人工智能学习攻略手册》文档包含视频课件、习题、电子书、代码、数据等人工智能学习相关资源可以下载离线学习。交流群欢迎加入公众号读者群一起和同行交流目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群以后会逐渐细分请扫描下面微信号加群备注”昵称学校/公司研究方向“例如”张三 上海交大 视觉SLAM“。请按照格式备注否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告否则会请出群谢谢理解~