Category: Academic News

1.1 引言 自训练作为一种广泛使用的半监督学习策略，产生的伪标签缓解了人群计数中标注耗时费力的问题，在少量有标记数据和大量未标记数据限定下提升了模型的性能。然而密度图的伪标签中的噪声大大阻碍了半监督式人群计数的性能。虽然如二元分割等辅助任务被利用来帮助提高特征表示学习能力，但它们与主要任务，即密度图回归是分离的，多任务关系被完全忽略。为了解决上述问题，我们提出了一个用于人群计数的多任务可信伪标签学习框架（MTCP），由三个多任务分支组成，即密度回归作为主要任务，二元分割和置信度预测作为辅助任务。多任务学习是在标记的数据上进行的 通过为所有三个任务共享相同的特征提取器，并考虑到多任务的关系。为了减少认识上的不确定性，标记的数据被进一步扩展，根据预测的置信度图对标记的数据进行修剪，这可以被看作是一种有效的数据增强策略。对于无标签的数据，与现有的只使用二进制的伪标签的工作相比剖析，我们直接生成可信的密度图的伪标签，这可以减少伪标签中的噪声，从而减少偶然不确定性。在五个人群计数数据集上进行了广泛的比较，证明了我们提出的模型比其他竞争性方法的优越性。 2 方法 给定少量有标注数据和大量无标注数据, 其中和分别为密度图和二元分割标注，我们的任务是在此限定下利用大量无标注数据提升计数模型性能。如图1所示，所提出的多任务可信密度图框架由：多任务学习和伪标签学习两个部分组成。 2.1 多任务学习 图1左侧展示了多任务学习框架，它包括三个多任务分支。即密度回归、二元分割和置信度预测，其中密度回归是主要任务，而二元分割和置信度预测是辅助任务，三者共享特征提取器。此外，图2展示了置信度网络的监督训练过程，我们基于True Class Probability (TCP) 策略并利用二元分割标注信息指导置信度图预测。 2.2 伪标签学习 图1右侧展示了伪标签学习迭代过程，对于无标注图像我们使用在上一次迭代中学到的模型进行推断输出密度图的伪标签，循环迭代直至模型收敛。然而伪标签中的噪声会干扰模型学习过程，我们基于多任务学习框架生成可信密度图伪标签，具体为图3所示。 3 实验结果 我们在SHA,SHB，UCF-QNRF,JHU-Crowd, NWPU-Crowd人群计数数据集上用实验表明了我们模型的有效性。 数据和代码链接：https://github.com/ljq2000/MTCP. 编辑：乔弘宇

1.1 引言 多视图学习的目的是联合使用来自不同视图的信息，这些视图可能捕获于多个来源或不同的特征子集。近年来，通过整合多视图数据上不同视图的多样性的深度学习方法已经得到了广泛的应用，并表现出了强大的能力。许多工作已经表明，在大规模数据上预训练的网络可以被利用于其他相关的任务。因此，考虑到跨域人脸图像具有相同的几何结构和身份，本章节引入了一个人脸解析模型精细地解析人脸成分作为结构视图，并引入一个人脸识别模型提取人脸图像的身份表示作为身份视图，我们将这些相关任务的大规模数据中学习的多视图信息迁移到人脸翻译这一数据规模有限的场景，提出了一个多视图知识（结构知识和身份知识）集成框架MvKE（Multi-view Knowledge Ensemble），用于跨域人脸翻译任务。具体而言，结构模块通过将人脸解析为人脸成分掩码（即像素级标签）来提供结构知识，然后将其映射到目标域的相应图像上。在这里，我们将结构模块的中间特征级联到翻译网络中以增加有效信息，但同时也引入了冗余信息。为了保留有用的特征表示，同时避免潜在的错误，我们引入了一个基于通道注意力的知识聚合模块，并根据从身份模块中学到的知识进一步约束它们，以保持独特的身份。目前还没有方法尝试将为相关任务设计的不同模型的多视图知识同时集成到图像翻译网络中，本文通过大量的实验证明了我们的方法的有效性。 此外，我们发现现有方法中使用的像素级生成损失忽略了真实图像和生成图像之间的频率一致性，导致生成的图像出现结构变形（高频信息）和颜色偏差（低频信息）等问题。受最近一些方法利用频域分析辅助解决深度学习任务的启发，在本章节中，我们将首次通过约束生成图像中的高、低频信息来优化图像到图像的翻译任务的频域映射。具体而言，我们提出了一种新的频率一致性（FC）损失，它由多方向普里威特mPrewitt（multi-direction Prewitt）损失和高斯模糊损失组成。其中mPrewitt损失是为高频一致性而设计的，由Prewitt算子实现，它通过约束生成图像与真实图像的梯度变化一致以学习连续的像素间变化模式，可以规避虚假离群点和噪声的存在并增强整体结构细节。为了实现低频一致性约束，我们引入了高斯模糊核来模糊图像的内容并暴露图像风格（色度和照度），通过高斯模糊损失来进一步优化该模型，此外，高斯模糊损失避免了高频损失的过度约束，同时对跨域人脸翻译过程中的颜色偏差和纹理细节进行了有效校准。 2. 方法 给定源域X和目标域Y的人脸图像，我们的任务是同时学习X和Y之间的双向映射，并生成可信且令人满意的图像。如图1所示，所提出的多视图知识集成（MvKE）框架由3个部分组成：结构模块、身份模块和翻译网络。此外，在训练阶段，我们的频率一致性损失通过计算翻译网络的mPrewitt损失和高斯模糊损失，分别约束高频和低频一致性。+ 2.1 多视图知识集成 语义分割框架可以用于解析人脸成分，可以从结构角度用于表示一张人脸图像，因此我们的结构模块利用预训练的人脸解析网络去获得人脸成分掩膜作为先验知识，并训练了从人脸成分掩膜到目标域图像的自编码器，通过级联结构知识和翻译网络的特征得到级联起来的特征，结构模块可以向翻译网络提供结构知识。这个过程可以显著降低不同人脸部件之间的混淆噪声并抑制每个人脸部件内的离群像素值。身份模块由预训练的人脸识别网络[6]实现，我们企图集成身份视图的知识到级联起来的特征，我们考虑到人脸识别任务和图像翻译任务差异较大，且需要保持身份一致性，我们设定了相对弱的监督KL散度去度量级联起来的特征的分布与身份特征的分布的偏差，多角度知识集成损失函数可以表示为： 2.2 频率一致性损失 将多视图知识整合到翻译任务中会增加有效信息，但也会引入冗余信息。在此，我们将频率一致性引入到传统的生成约束中，并提出频率一致性损失来约束频率域中的生成图像。它为图像翻译任务提炼出了更有效的信息。所提出的频率一致性损失由多方向的Prewitt损失和高斯模糊损失组成。 现有的图像翻译方法通常采用像素级L1损失函数作为生成约束。这个函数度量生成的图像和目标图像之间的像素级重建误差，而不考虑它们与周围像素的相关性。由于很难逐个像素精确对齐跨域的人脸图像对，而L1损失容易收到离群点的影响，导致这些方法会产生噪声和不合理的纹理。为了解决这个问题，我们提出了一种新的高频损失，即多方向Prewitt（mPrewitt）损失，以监督我们的模型学习连续的像素间变化模式。更具体地说，它指导模型学习与真实图像相同的梯度变化，拒绝错误的离群点和噪声的存在。 mPrewitt损失是为高频一致性设计的，特别是在人脸成分的边缘（如轮廓、皱纹和眼睛）能够起到很好的监督效果。它还能够抑制生成图像中错误的连续像素间的变化，例如皮肤中明显的梯度变化，但是它对颜色差异并不敏感。为了解决这一问题，我们引入了一个高斯模糊损失来约束低频一致性。高斯模糊核可以模糊图像内容（即明显的边缘）并暴露出图像风格（即颜色和光照）。我们的高斯模糊损失通过L1范数约束生成图像的模糊版本及和真实图像的模板版本之间的低频一致性，提升了生成图像的色彩真实度。 3 实验结果 在CUFS、CUFSF等数据集上的大量人像跨域翻译实验表明了我们模型的有效性。 数据和代码链接：https://github.com/qinghew/MvKE-FC 编辑：乔弘宇

1 引言 多无人机多目标追踪是协同环境感知领域重要的研究方向，其目的是实现多视角信息融合，克服单架无人机在环境感知上的不足，从而在实现跨机目标关联的基础上，实现多目标的协同追踪，提升整体追踪性能。然而现有多视角多目标追踪数据集很少有遮挡标签和视角重叠，导致协同追踪领域发展受限。为此，我们收集了一个富有遮挡属性标签的双机多目标追踪数据集，命名为MDMT。为了解决多无人机多目标追踪任务中跨机目标关联问题，我们从不同视角下目标拓扑图的相似性出发，构建不同视角间透视变换矩阵，进而利用变换矩阵进行目标匹配与遮挡补充，解决单机目标缺失、遮挡、ID变换等问题。大量实验证明了该方法的有效性。 2 研究动机 首先，为了促进协同环境感知领域的发展，克服多机协同环境感知任务中数据集缺失的问题，本工作收集了一个具有遮挡属性标签的双机多目标追踪数据集，命名为MDMT。 其次，在目标遮挡相关问题上，现有多目标追踪算法通过帧间连续性进行目标预测，并没有从根本上解决单视角环境感知受限的问题。在处理目标关联问题时，多采用目标重识别的方式计算目标特征相似性，并使用优化算法进行目标关联。当传统方法用在无人机数据集上时，检测性能降低、目标遮挡严重等问题愈加严重，不同视角下相同实例特征相似性甚至大于实例间特征相似性，导致目标重识别算法匹配效率低下。为了解决遮挡和跨机目标关联的问题，我们从不同视角下目标拓扑图的相似性出发，通过目标映射实现跨机目标关联，进而补充单机中遮挡目标，减少目标缺失、ID变换等问题，从整体上提升目标追踪性能。 3 数据集介绍 为了攻克多无人机多目标追踪任务中目标跨机关联和目标遮挡等关键挑战，我们收集了一个具有遮挡属性标签的双机多目标追踪数据集，名为MDMT。它包含88个视频序列，有39,678帧，包括11,454个不同ID的人、自行车和汽车。 MDMT包括2,204,620个人工标定边界框，其中543,444个边界框具有遮挡属性。 4 方法介绍 我们为多无人机多目标跟踪任务提出了MIA-Net，其中的局部-全局匹配算法发掘不同无人机间目标分布的拓扑关系，有效解决跨机关联问题，并利用多无人机视角映射的方法有效地进行跨机关联和遮挡补充。方法的整体结构如图3所示： 4.1 匹配方法 我们实用全局匹配和局部匹配两种匹配策略获得视角间变换矩阵，第一帧通过手工初始化或者全局匹配的方式得到匹配点，通过匹配点计算旋转矩阵T： 4.2 目标ID分配策略 通过得到的变换矩阵，我们对新目标、非重合区域目标、未匹配目标进行分类处理，详细设计各个类别目标ID分配策略，实现双机共同目标ID对应，实现协同追踪： 5 实验结果 5.1 评测标准 首先我们采用MOTA和iDF1作为追踪性能评测标准。 其次，为了评测算法跨视角目标关联性能，我们设计了一个多设备目标关联得分（MDA， Multi-Device Association score），统计追踪过程中共同目标跨机匹配情况。 5.2 评测结果 在MDMT数据集上的大量实验验证了我们提出的MIA-Net在目标关联和有遮挡多目标跟踪任务上的有效性。相较于单机追踪算法，使用MIA-Net (Autoassign+Bytetrack)，在iDF1上有2.68%的提升。 数据和代码链接：https://github.com/VisDrone/Multi-Drone-Multi-Object-Detection-and-Tracking 编辑：乔弘宇

比赛总结 2022年12月24日，空地智能无人系统环境感知挑战赛(Aerial-Ground Intelligent Unmanned System Environment Perception Challenge, AGEP)专题论坛依托第五届中国模式识别与计算机视觉大会(The 5th Chinese Conference on Pattern Recognition and Computer Vision, PRCV 2022)在深圳市科兴ECO国际会议中心成功举办。本次竞赛由天津大学、香港科技大学、西北工业大学和山东大学共同组织，共吸引全国59支队伍参赛，角逐无人机目标检测、无人机双光人群计数以及多传感器融合Visual SLAM三个赛道冠军。VisDrone团队自2018年以来在ECCV和ICCV顶级会议上已连续成功举办了四届挑战赛，该挑战赛包含多个赛道，用于无人机平台上的检测、计数等各种核心视觉任务。 本次挑战赛负责人天津大学朱鹏飞副教授主持了“空地智能无人系统环境感知挑战赛”专题论坛。朱鹏飞副教授首先介绍了无人机的广泛应用并对本次“空地智能无人系统环境感知挑战赛”进行了回顾，之后介绍了本次挑战赛目标检测赛道、双光人群计数赛道、多传感器融合SLAM赛道的任务以及对应的数据集，最后公布本次挑战赛3个赛道的9支获奖队伍。 冠军分享 在本次研讨会中还邀请了3个赛道的冠军队伍进行算法分享。目标检测赛道冠军队伍由施泽浩分享的报告题目是“MT-UAVDet：一种无人机视角目标检测算法”。该报告介绍了该队伍基于YoloV6改进的一种空中视角的目标检测方法，该方法在目标检测赛道上取得了mAP 40.35的成绩，并为美团的无人机业务安全运行保驾护航。 双光人群计数赛道冠军队伍由徐威带来的报告题目是“CrowdFusion: Multimodal information fusion crowd counting”，介绍了针对复杂城市场景以及复杂光照变化条件下设计的CrowdFusion算法。该算法融合热红外图片信息与RGB图片信息，输出高精度的人群计数结果，在Drone RGBT数据集上实现了最优的人群计数性能。 多传感器融合SLAM赛道冠军队伍由周云水带来的报告题目为“非理想场景下的视觉惯性SLAM”。针对本次挑战赛中的纹理缺失、非惯性系、光照不足、高速旋转、长走廊等非理想场景，该队伍采用双目视觉定位方案，通过传统数字图像处理、IMU数据融合、语义分割、视觉重定位等技术，有效降低了SLAM系统的绝对位姿误差（APE）。 最后，PRCV 2022程序委员会主席南方科技大学计算机科学与工程系于仕琪副教授为参与线下会场的冠军队伍颁奖。 挑战赛历史 VisDrone挑战赛自2018年以来在ECCV和ICCV等视觉领域的会议上已连续成功举办了五届，该挑战赛包括目标检测、目标跟踪和人群计数等多个赛道。在此期间，团队不断更新和拓展VisDrone数据集，图片数据集扩展到10209张，视频数据集从263组扩展到400组。在这5届挑战赛中，参赛队伍数量最高达208支，接受的论文数量最高达到21篇。此外，今年还新增多传感器融合SLAM赛道以及对应的FusionPortable数据集，该数据集包含室内外8种场景17个多传感器数据序列。VisDrone挑战赛吸引了包括清华大学、北京大学、中科院、腾讯、深兰科技、松下湾大学、光州科学技术学院、吉诺瓦大学和悉尼科技大学等国内外知名高校及机构在内的参加者。目前，VisDrone数据集已成为无人机领域的基准数据集之一。到目前为止，已经有38篇会议论文发表在VisDrone Workshop，众多论文中提出的无人机检测、跟踪和人群计数的新方法，极大地推动了无人机视觉研究的蓬勃发展。通过VisDrone平台，使视觉与无人机相遇，并将无人机带入大众的生活。 编辑：乔弘宇

论文下载与视频链接: https://dl.acm.org/doi/10.1145/3503161.3547902 代码链接：https://github.com/SunYM2020/DetFusion 红外和可见光图像融合旨在利用两种模态之间的互补信息来合成包含更丰富信息的新图像。大多数现有的工作集中在如何更好地融合两个模态的对比度和纹理方面的像素级细节，但忽略了图像融合任务旨在更好地服务于下游任务。对于目标检测这一典型下游任务，图像中的目标相关信息通常比仅关注图像的像素级细节更有价值。 本文提出了一种检测驱动的红外和可见光图像融合网络（DetFusion），它利用在目标检测网络中学习到的目标相关信息来指导多模态图像融合。我们将图像融合网络与两种模态的检测网络级联，并使用融合图像的检测损失来为图像融合网络的优化提供任务相关信息的指导。考虑到目标位置为图像融合提供了先验信息，我们提出了一种基于目标感知的内容损失函数，该内容损失函数激励融合模型更好地学习红外和可见图像中的像素级信息。此外，我们设计了一个共享注意力模块，以激励融合网络从目标检测网络中学习目标特定信息。 研究动机 诸如救灾和交通管理之类的实际应用需要能够处理全天时工作的目标检测算法。然而，在低光照条件下，基于可见光图像的目标检测的性能受到影响，尽管红外成像对光照变化具有鲁棒性，但它缺乏重要的纹理细节信息。考虑到红外和可见光图像的融合可以弥补单一模态的缺陷，基于融合图像的目标检测可以很好地满足实际应用中全天工作的需要。 目标检测的目标是找到图像中每个目标的位置并识别其类别，这自然可以提供丰富的语义信息以及目标位置信息。在这篇论文中，我们的动机是以检测驱动的形式构建一个新的红外和可见光图像融合框架，以便图像融合能够受益于目标检测中包含的语义信息和目标位置信息。 模型 我们提出的DetFusion的框架如图所示，其包含共享注意力引导的融合主网络、可见光检测网络和红外检测网络。每个检测网络由各自的检测损失独立地优化。我们在每个检测器中引入了注意力模块，用于提取可见光特征注意力图和红外特征注意力图。给定输入的一组红外与可见光图像，融合主网络负责生成融合图像，此网络由融合损失来优化。融合损失由基于目标感知的内容损失和检测驱动损失组成。 目标检测任务的标注了图像中每个物体的真实位置信息。我们可以使用该位置信息作为先验，自然地找到每个融合图像、红外图像和可见图像中的目标区域和背景区域。因此，我们提出了基于目标感知的内容损失，这促使融合图像基于目标位置先验保持良好的对比度和纹理细节。基于目标感知的内容损失包含目标感知像素损失以及梯度损失。 在融合图像中，我们期望目标区域与背景区域相比具有更显著的对比度。因此，目标区域需要保持最大像素强度，背景区域需要稍微低于最大像素强度以显示对象和背景之间的对比度。像素损失针对目标和背景分别采取不同的计算方式。 我们期望融合图像保留来自两种模态的图像的最丰富的纹理细节。 我们将融合图像分别输入红外检测网络和可见光检测网络，并根据各自的预测结果和地面实况计算检测损失。 实验 我们在同时支持目标检测与图像融合任务的典型数据集LLVIP和FLIR上进行实验。我们在7个图像融合性能评价指标上对比了7个典型的算法，在两个数据集上进行了定量、定性实验，以及消融实验。这些实验表明了我们的DetFusion的优越性。 在FLIR数据集和LLVIP数据集上的消融研究也验证了我们框架中每个组件的有效性。 编辑：乔弘宇

        由胡清华老师和朱鹏飞老师指导，2020级本科生罗超凡、刘锦帆、刘昱龙、杨昕明、李佩珂、单玉青、杨昊也和硕士研究生尚元元共同完成的项目《Z.E.U.S. 灾害应急响应无人机蜂群系统》获得2022年“挑战杯”中国银行天津市大学生创业计划竞赛天津市金奖，中国国际“互联网+”大学生创新创业大赛天津市金奖。         “挑战杯”中国大学生创业计划竞赛是由共青团中央、中国科协、教育部、全国学联主办的大学生课外科技文化活动中一项具有导向性、示范性和群众性的创新创业竞赛活动，每两年举办一届。中国“互联网+”大学生创新创业大赛，由教育部与政府、各高校共同主办的一项技能大赛。大赛旨在深化高等教育综合改革，激发大学生的创造力，培养造就“大众创业、万众创新”的主力军；推动赛事成果转化，促进“互联网+”新业态形成，服务经济提质增效升级；以创新引领创业、创业带动就业，推动高校毕业生更高质量创业就业。这两项赛事是全国高校本科教学改革中覆盖面最广、影响力最大、学生参与最多、水平最高的比赛之一，吸引了广泛的学校和学生的参与。 编辑：乔弘宇

        在CVPR 2022期间，由19级硕士毕业生潘俊文（现字节跳动多模态团队），21级硕士生陈冠林和20级硕士生刘轶组成的Aurora团队夺得了VizWiz视觉问答挑战赛全球冠军。 方法介绍视频：https://www.youtube.com/watch?v=eh8OffqNKI4 文章链接：https://arxiv.org/pdf/2207.05703.pdf         视觉问答（VQA）是通向多模人工智能的一项基础挑战。一个自然的应用就是帮助视障人群克服他们日常生活中的视觉挑战，如视障群体通过手机镜头捕获视觉内容，再通过语言对镜头中的内容发起提问。AI算法需要识别和描述物体或场景，并以自然语言的方式进行回答。         在CVPR 2022上，权威视觉问答竞赛VizWiz提出了新的挑战：AI在回答（Talk）有关的视觉问题时，必须精确地高亮出（Show）相应的视觉证据。         凭借端到端的DaVI（Dual Visual-Linguistic Interaction）视觉语言交互新范式，Aurora团队成功拿下VizWiz 2022 Answer Grounding竞赛全球冠军。         VizWiz 大赛已经举办了4届，主办学者来自卡内基梅隆大学（CMU）、华盛顿大学、科罗拉多大学、微软和苹果，在多模态视觉问答领域有深厚的学术成就和技术积淀。         本届竞赛中，Aurora团队与来自国内外知名研究机构和高校的60+团队同台竞技，包括Google DeepMind、纽约大学、浪潮国家重点实验室、西安电子科技大学和特拉华大学等。夺冠方案的精度相比基线算法提升43.14%，领先在多模领域深耕已久的DeepMind团队3.65%。 编辑：乔弘宇

        （通讯员 李娜）近日，学部机器学习与数据挖掘团队朱鹏飞副教授、胡清华教授等人撰写的论文《Detection and Tracking Meet Drones Challenge》被人工智能领域国际顶级期刊IEEE Transaction on Pattern Analysis and Machine Intelligence（IEEE TPAMI）录用。该期刊科学引文索引影响因子为17.86，在2020年谷歌所发布的学术影响力排名中，位列所有计算机工程、电子工程及人工智能相关期刊之首。同时，团队关于无人机环境感知的相关工作也先后发表在CVPR、IEEE TIP、IEEE CSVT等会议和期刊上。         无人机在军事、航拍、安监、执法等领域的应用越来越广泛，但国际上关于无人机视觉方面的公开数据和文献却较少。在国家自然基金和天津市学科建设经费支持下，依托天津市机器学习重点实验室和天津市131创新团队，搭建了无人机视觉数据开放平台VisDrone，采用机载可见光和双光摄像头进行数据采集，平台覆盖目标检测、目标跟踪、目标计数、群体分析等任务，同时满足单机和多机协同环境感知的研究需求。目前，VisDrone已成为国际和国内广泛使用的智能无人系统环境感知数据平台，相关数据集已成为无人机领域的基准数据集。         基于VisDrone数据平台，团队自2018年以来在ECCV和ICCV计算机视觉国际顶级会议上已连续举办了四届VisDrone挑战赛，包括目标检测、目标跟踪和人群计数等多个赛道。VisDrone挑战赛吸引了包括卡耐基梅隆大学、慕尼黑理工大学，清华大学、北京大学、中科院、腾讯、深兰科技、首尔科技大学、韩国光州科学技术学院和悉尼科技大学等国内外知名高校及机构在内的参赛者，四年间，参赛队伍数量从2018年的66支增加到2021年的208支，已有38篇会议论文发表在VisDrone Workshop，论文中提出的无人机检测、跟踪和人群计数新方法，极大地推动了无人机视觉研究的蓬勃发展。         围绕智能无人系统应用，团队与中汽数据有限公司合作开发了自动驾驶数据半自动标注平台，相关成果获得2021年度中国智能交通协会科技进步二等奖，与中水北方勘测设计研究有限责任公司合作开发了遥感影像人机协同数据标注平台，相关成果入选2021年度水利先进实用技术重点推广指导目录，与山东睿朗智能科技有限公司合作开发电力作业异常巡检平台，实现了对15种电力作业异常行为的精确识别。团队还开发了无人机河道智能巡检系统以及交通巡检盒子等，未来团队将围绕自动驾驶、交通巡检等领域与行业企业开展深度合作和应用，实现智能无人系统领域的产学研深度融合。   来源：http://cic.tju.edu.cn/info/1040/3562.htm 编辑：乔弘宇