论文题目:Task-Gated Multi-Expert Collaboration Network for Degraded Multi-Modal Image Fusion

作者:孙一铭,李欣(硕士研究生),朱鹏飞,胡清华,任冬伟,徐慧英,朱信忠

论文概述:

近期,团队提出了一个面向低空与自然场景含退化多模态图像融合框架,已被2025国际机器学习大会(ICML)录用。多模态图像可以利用不同采集设备的优势,从多种维度表征场景信息,在野外救援、城市监控等低空及自然场景中发挥着关键作用。然而,真实场景中多模态图像通常遭受不同类型的退化,可见光图像容易遭受雨雪雾等恶劣天气与噪声模糊等物理退化的影响,红外图像可能存在条纹噪声与低对比度等问题。这些退化问题严重影响了多模态融合的图像质量和应用性能。针对这一问题,团队提出了针对退化多模态图像的All-in-One复原融合统一框架,实现了对不同类型退化任务的分而治之。所提出的方法设计了退化类型感知门控(Degradation-Aware Gating)进行任务路由分配,安排不同的专家组合动态处理不同类型的退化图像复原任务,并利用融合感知门控(Fusion-Aware Gating)引导的多专家系统动态平衡融合任务和复原任务的学习,以实现更好的退化多模态图像复原和融合效果。团队所提出的框架减少复原任务和融合任务之间的矛盾,最大限度地降低了传统先复原再融合的级联结构中的信息损失,通过动态专家系统实现All-in-One退化图像复原与融合的统一,在真实退化场景与低空无人机感知场景上,取得了最佳的图像复原与融合性能,同时在各类下游任务上也实现了最优结果。此外,本研究根据低空与自然场景的各种退化类型,构建了一个可支持退化多模态图像复原与融合的大规模数据集,包含了低空无人机空对地视角场景、地面监控及车载相机视角场景,该数据集可为低空退化多模态图像融合等相关研究提供系统性评测基准。

论文题目:Socialized Coevolution: Advancing a Better World through Cross-Task Collaboration

作者:姚鑫杰(博士研究生),王煜,朱鹏飞,林婉瑜,赵睿朴,郭周鹏,李维浩,胡清华

论文概述:

近期,团队提出了一个多智能体跨任务协同感知的社会化学习框架,已被2025国际机器学习大会(ICML)录用。在动态开放环境下,智能体往往需要掌握更多解决不同下游任务的能力。当前多任务学习和知识蒸馏的方法往往难以平衡智能体在不同下游任务上的通用性和专业性,但人类的学习过程往往通过与掌握相关专业知识的其他个体进行动态交流,以保证人类能够高效掌握一专多能的能力,平衡通用性和专业性即可实现。针对此问题,团队提出了一类跨任务社会化学习范式,不同智能体通过分享从数据中学习到的不同下游任务知识,实现新下游任务能力的学习。同时,跨任务社会化学习范式可以通过智能体之间的样本共享和知识动态交互,在保留个体原先下游任务能力的基础上,获取其他智能体的下游任务知识,进而实现机器社会中多个个体的跨任务协同进化。