论文题目:Graphs Help Graphs: Multi-Agent Graph Socialized Learning
作者:李佳璐(博士研究生),王煜,朱鹏飞,林婉瑜,姚鑫杰,胡清华
论文概述:
现实世界中的图是分散和动态的,缺乏类似于人类社会中观察到的协作。现有的范式存在着社会化信息崩溃和遗忘现象,导致协作关系自主性差,交互信息不足。此外,随着图的增长,协作信息容易丢失。异构动态图环境中的有效协作变得具有挑战性。受社会学习的启发,本文提出了一种图社会化学习(GSL)范式。我们提供了GSL中图社会化的见解,并通过有效的协作提高多智能体的性能。决定与谁、什么以及何时共享和积累信息以实现有效的GSL是至关重要的。因此,我们提出了“Graphs Help Graphs”(GHG)方法来解决这些问题。具体来说,它使用图驱动的组织结构来自主选择交互智能体和管理交互强度。根据智能体的需求,我们生成定制化的合成图作为交互媒介,然后应用合成图构建生命周期内的原型,帮助选择最优模型参数。我们通过广泛的实证研究证明了GHG方法在异构动态图中的有效性。
论文题目:Multimodal Negative Learning
作者:龚保全(硕士研究生),高西远(博士研究生),朱鹏飞,胡清华,曹兵
论文概述:
多模态学习在整合视觉、语音、文本等多源信息时,常面临模态不平衡问题,即不同模态之间在信息质量与可靠性上存在差异。当尝试利用优势模态引导弱势模态学习时,往往出现优势模态压制弱势模态表达的情况,导致后者的独特信息被过度对齐甚至丢失。同时,这种单向引导还可能放大主导模态的错误,从而削弱系统的整体鲁棒性。为解决上述问题,本文提出了一种新的学习范式, 多模态负向学习(Multimodal Negative Learning, MNL)。其核心思想并非强制弱势模态完成正确分类,而是由优势模态动态引导弱势模态学习如何排除非目标类别,从而稳定其决策空间,并避免因过度对齐而丢失模态的独特信息。在理论上, 我们在多模态晚期融合条件下, 基于单模态置信边距给出了鲁棒性下界的证明,为MNL的动态引导在提升系统鲁棒性上提供了理论保障。同时,MNL 可便捷嵌入现有的晚期融合方法。大量实验结果表明,该方法在多种数据集及不同噪声环境下均能提升模型准确性与鲁棒性,尤其在模态不平衡或高噪声场景中表现突出,为构建更加稳健和可信的多模态系统提供了一种全新的思路。
@article{cao2024visible, title={Visible and Clear: Finding Tiny Objects in Difference Map}, author={Cao, Bing and Yao, Haiyu and Zhu, Pengfei and Hu, Qinghua}, journal={arXiv preprint arXiv:2405.11276}, year={2024} }
<pre>
@ARTICLE{Gao22LUSS,
author={Gao, Shanghua and Li, Zhong-Yu and Yang, Ming-Hsuan and Cheng, Ming-Ming and Han, Junwei and Torr, Philip},
title={Large-scale Unsupervised Semantic Segmentation},
journal={IEEE Transactions on Pattern Analysis and Machine Intelligence},
year={2023},
volume={45},
number={6},
pages={7457-7476},
doi={10.1109/TPAMI.2022.3218275}
}
</pre>