指导教师：朱鹏飞、王煜
指导教师：朱鹏飞、曹兵
《基于自监督学习的属性图聚类算法研究》
摘要：图数据在现实生活中的社交网络分析、推荐系统等方面有广泛的应用。属性图聚类是一种不依赖任何标记实现知识发现的任务，它整合节点特征和图拓扑结构信息建模节点紧凑和有辨别性的特征表示，并发现自身的潜在知识与模式。图自监督学习因其可以利用辅助任务从无监督图数据中挖掘自身的监督信息被广泛使用。本文围绕图自监督学习在属性图聚类上的应用展开研究。
现有属性图聚类方法主要存在以下问题和挑战：（1）现有属性图聚类方法大多是基于两段式的策略，特征提取和聚类过程分离。（2）主流属性图聚类方法难以引入准确的监督信息，聚类性能提升有限。（3）很多方法依赖标记数据设计方案，存在很大的局限性，而且选择伪标签时难以确定最佳阈值。（4）基于对比学习的属性图聚类方法容易学习到与下游任务无关的冗余信息，类别碰撞问题不可避免。本文提出两项工作内容解决上述问题和挑战。
- 为了解决节点邻近相似性和监督信息缺失的问题，本文提出基于协同决策增强的自监督属性图聚类方法，首先完成端到端聚类，然后训练多任务方案下的伪节点分类任务，之后采用一致性策略和多种聚类排序方法选取伪标签。
- 为了进一步提升伪标签质量，同时考虑到半监督方法的局限和对比学习的类别碰撞问题，本文提出基于渐进式知识扩展的自监督属性图聚类方法。首先使用数据增强方法对原图进行破坏，然后得到教师的模型参数，之后利用课程学习由易到难选取伪标签并引入负样本学习。
《基于深度生成模型的人像翻译与编辑》
摘要：随着深度生成模型的快速发展，这一技术在人像翻译与编辑领域已经出现了许多的研究与应用，但仍存在一些亟待解决的挑战。生成对抗网络通过构建图像域之间的映射实现了端到端的人像翻译，但由于成对的跨域人像制作成本较高导致人像翻译数据集往往规模较小， 因此模型无法充分训练，这限制了当前人像翻译模型的实际应用。而在人像属性编辑任务中，现有模型往往难以同时编辑多个人像属性，且存在内容与属性、不同属性之间的耦合，无法在不影响图像内容和其他属性的情况下成功改变期望编辑的属性。人像语义编辑任务则需要在编辑图像局部区域时能够与其他区域相融洽，同时尽可能地不影响期望保持的区域。本文针对上述挑战开展了研究：
- 针对成对的跨域人像数据集规模有限的问题，本文提出了多视图知识集成与频率一致性框架，通过迁移相关任务的预训练模型作为多视图知识以及包含多方向Prewitt损失和高斯模糊损失的频率一致性约束提升性能。
- 针对生成器与判别器难以在有限数据下实现高质量的对抗训练的问题，本文提出自判别循环生成对抗网络，并用提出的自编码损失、全向像素梯度损失进一步优化网络在减少训练参数的情况下提升了网络的性能。
- 针对现有的人像编辑方法难以编辑多个属性的问题，本文设计了一个基于属性控制生成对抗网络的人像连续编辑框架，将内容隐变量和属性隐变量分开输入以分别调制解调内容专家和属性专家。
- 针对人像语义编辑中难以兼顾编辑后人像的自然程度与非编辑区域的保持的问题，我们基于图像的头部替换任务提出了基于语义指导的隐扩散模型换头框架，并提出了多个优化策略、合理的评价指标探索这项任务。