团队赢得CVPR 2022 VizWiz VQA Grounding 冠军

        在CVPR 2022期间，由19级硕士毕业生潘俊文（现字节跳动多模态团队），21级硕士生陈冠林和20级硕士生刘轶组成的Aurora团队夺得了VizWiz视觉问答挑战赛全球冠军。

• 方法介绍视频：https://www.youtube.com/watch?v=eh8OffqNKI4
• 文章链接：https://arxiv.org/pdf/2207.05703.pdf

        视觉问答（VQA）是通向多模人工智能的一项基础挑战。一个自然的应用就是帮助视障人群克服他们日常生活中的视觉挑战，如视障群体通过手机镜头捕获视觉内容，再通过语言对镜头中的内容发起提问。AI算法需要识别和描述物体或场景，并以自然语言的方式进行回答。

        在CVPR 2022上，权威视觉问答竞赛VizWiz提出了新的挑战：AI在回答（Talk）有关的视觉问题时，必须精确地高亮出（Show）相应的视觉证据。

        凭借端到端的DaVI（Dual Visual-Linguistic Interaction）视觉语言交互新范式，Aurora团队成功拿下VizWiz 2022 Answer Grounding竞赛全球冠军。

        VizWiz 大赛已经举办了4届，主办学者来自卡内基梅隆大学（CMU）、华盛顿大学、科罗拉多大学、微软和苹果，在多模态视觉问答领域有深厚的学术成就和技术积淀。

        本届竞赛中，Aurora团队与来自国内外知名研究机构和高校的60+团队同台竞技，包括Google DeepMind、纽约大学、浪潮国家重点实验室、西安电子科技大学和特拉华大学等。夺冠方案的精度相比基线算法提升43.14%，领先在多模领域深耕已久的DeepMind团队3.65%。