🚀 优质资源分享 🚀

学习路线指引（点击解锁）知识定位人群定位

🧡 Python实战微信订餐小程序 🧡	进阶级	本课程是python flask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。
💛Python量化交易实战💛	入门级	手把手带你打造一个易扩展、更安全、效率更高的量化交易系统

论文信息

论文标题：Label-invariant Augmentation for Semi-Supervised Graph Classification论文作者：Han Yue, Chunhui Zhang, Chuxu Zhang, Hongfu Liu论文来源：2022，NeurIPS论文地址：download论文代码：download

1 Introduction

我们提出了一种图对比学习的标签不变增强策略，该策略涉及到下游任务中的标签来指导对比增强。值得注意的是，我们不生成任何图形数据。相反，我们在训练阶段直接生成标签一致的表示作为增广图。

2 Methodology

2.1 Motivation

数据增强在神经网络训练中起着重要的作用。它不仅提高了学习表示的鲁棒性，而且为训练提供了丰富的数据。

例子：（使用 505050% 的标签做监督信息。数据增强：node dropping, edge perturbation, attribute masking, subgraph sampling）

显然有些数据增强策略（或组合）对于模型训练又负面影响。本文进一步使用 MUTAG 中的 100100100% 标签训练模型，然后以每种数据增强抽样概率 0.20.20.2 选择数据增强图，发现 80% 的数据增强图和原始图标签一致，约 202020% 的数据增强图和原始图标签不一致。

2.2 Label-invariant Augmentation

整体框架：

四个组成部分：

• • Graph Neural Network Encoder
    • Classifier
    • Label-invariant Augmentation
    • Projection Head

出发点：对于一个有标记的图，我们期望由增强表示预测的标签与地面真实标签相同。

2.2.1 Graph Neural Network Encoder

GCN layer :

G(l+1)=σ(D_−12AD_{−12G(l)θ(l)G)(1)G(l+1)=σ(D}−12A_D−12G(l)θG(l))(1)G^{{(l+1)}=\sigma\left(\tilde{D}}{-\frac{1}{2}} \tilde{A} \tilde{D}^{-\frac{1}{2}} G^{(l)} \theta_{G}^{(l)}\right)\quad\quad\quad\quad(1)
　　其中：

• • G(l)G(l)G^{(l)} denotes the matrix in the l -th layer, and G(0)=XG(0)=XG^{(0)}=X
    • σ(⋅)=ReLU(⋅)σ(⋅)=ReLU⁡(⋅)\sigma(\cdot)=\operatorname{ReLU}(\cdot)

池化 (sum)：

H=Pooling(G)(2)H=Pooling⁡(G)(2)H=\operatorname{Pooling}(G)\quad\quad\quad\quad(2)

2.2.2 Classifier

基于图级表示，我们使用带有参数 θCθC\theta_{C} 的全连接层进行预测：

C(l+1)=Softmax(σ(C(l)⋅θ(l)C))(3)C(l+1)=Softmax⁡(σ(C(l)⋅θC(l)))(3)C^{{(l+1)}=\operatorname{Softmax}\left(\sigma\left(C}{(l)} \cdot \theta_{C}^{(l)}\right)\right)\quad\quad\quad\quad(3)

其中，C(l)C(l)C^{(l)} 表示第 lll 层的嵌入，输入层 C(0)=HOC(0)=HOC^{(0)}=H{O} 或 C(0)=HAC(0)=HAC^{(0)}=H{A} 分别表示原始表示和增强图表示。实验中，采用了一个 2 层多层感知器，得到了对原始表示 HOHOH^{O} 和增强表示 HAHAH^{A} 的预测 COCOC^{O} 和 CACAC^{A}。

2.2.3 Label-invariant Augmentation

不对图级表示做数据增强，而是在原始图级表示HOHOH^{O}上做微小扰动得到增强图级表示。

在实验中，首先计算所有图的原始表示的质心，得到每个原始表示与质心之间的欧氏距离的平均值为 ddd，即：

d=1N∑Ni=1∥∥HOi−1N∑Nj=1HOj∥∥(4)d=1N∑i=1N‖HiO−1N∑j=1NHjO‖(4)d=\frac{1}{N} \sum_{i=1}^{{N}\left|H_{i}}{O}-\frac{1}{N} \sum_{j=1}^{N} H_{j}^{O}\right|\quad\quad\quad\quad(4)

然后计算增强图表示 HAHAH^{A}：

HA=HO+ηdΔ(5)HA=HO+ηdΔ(5)H^{A}=H{O}+\eta d \Delta\quad\quad\quad\quad(5)

其中 ηη\eta 缩放扰动的大小，ΔΔ\Delta 是一个随机单位向量。

为实现标签不变增强，每次，随机生成多个扰动，并选择符合标签不变属性的合格候选增强。在这些合格的候选对象中，选择了最困难的一个，即最接近分类器的决策边界的一个，以提高模型的泛化能力。

2.2.4 Projection Head

使用带有参数 θPθP\theta_{P} 的全连接层，从图级表示中得到对比学习的投影，如下所示：

P(l+1)=σ(P(l)⋅θ(l)P)(6)P(l+1)=σ(P(l)⋅θP(l))(6)P^{{(l+1)}=\sigma\left(P}{(l)} \cdot \theta_{P}^{(l)}\right) \quad\quad\quad\quad(6)

采用一个 2 层多层感知器，从原始表示 HOHOH^{O} 和增广表示 HAHAH^{A} 中得到投影 POPOP^{O} 和 PAPAP^{A}。

2.2.5 Objective Function

目标函数包括对比损失和分类损失。对比损失采用 NT-Xent，但只保留正对部分如下：

LP=−(PO)⊤PA∥∥PO∥∥∥∥PA∥∥(7)LP=−(PO)⊤PA‖PO‖‖PA‖(7)\mathcal{L}_{P}=\frac{-\left(P^{O}\right){\top} P^{A}}{\left|P{O}\right|\left|P^{A}\right|} \quad\quad\quad\quad(7)

对于分类损失，采用交叉熵，其定义为：

LC=−∑ci=1(YOilogPOi+YOilogPAi)(8)LC=−∑i=1c(YiOlog⁡PiO+YiOlog⁡PiA)(8)\mathcal{L}_{C}=-\sum_{i=1}^{{c}\left(Y_{i}}{O} \log P_{i}^{O}+Y_{i}{O} \log P_{i}^{A}\right) \quad\quad\quad\quad(8)

其中，YOYOY^{O} 是输入图的标签，ccc 是图类别的数量。本文只计算带标签的图的 LCLC\mathcal{L}_{C}。ClassifierClassifier\text{Classifier}  的改进将有助于标签不变的增强，反过来有利于分类器的训练。

结合等式 Eq.7Eq.7\text{Eq.7} 和 Eq.8Eq.8\text{Eq.8} ，总体目标函数可以写成如下：

minΘLP+αLC(9)minΘLP+αLC(9)\underset{\Theta}{\text{min}} \quad\mathcal{L}_{P}+\alpha \mathcal{L}_{C}\quad\quad\quad\quad(9)

3 Experiments

3.1 Datasets
　　

3.2 Semi-supervised graph classification results

3.3 Algorithmic Performance

3.4 In-depth Exploration

Negative Pairs

现有的图对比学习方法将来自不同源样本的增广图视为负对，并对这些负对采用实例级判别。由于这些方法分离了 pre-train 阶段和 fine-tuning 阶段，因此负对包含了来自不同源样本的增强样本，但在下游任务中具有相同的类别。

Figure 4(a) 显示了我们在四个数据集上有负对和没有负对的 GLA 的性能。可以看到，与没有负对的默认设置相比，有负对的性能显著下降，而负对在所有四个数据集上都表现一致。与现有的图对比方法不同，GLA 集成了预训练阶段和微调阶段，其中以自监督的方式设计的负对不利于下游任务。这一发现也与最近的[10,9]在视觉对比学习领域的研究结果相一致。

4 Conclusion

本文研究了图的对比学习问题。从现有的方法和训练前的方法不同，我们提出了一种新的图标签不变增强（GLA）算法，该算法集成了训练前和微调阶段，通过扰动在表示空间中进行标签不变增强。具体来说，GLA首先检查增广表示是否服从标签不变属性，并从合格的样本中选择最困难的样本。通过这种方法，GLA在不生成任何原始图的情况下实现了对比增强，也增加了模型的泛化。在8个基准图数据集上的半监督设置下的广泛实验证明了我们的GLA的有效性。此外，我们还提供了额外的实验来验证我们的动机，并深入探讨了GLA在负对、增强空间和策略效应中的影响因素。

• 论文信息

• 1 Introduction

• 2 Methodology

• 2.1 Motivation

• 2.2 Label-invariant Augmentation

• 2.2.1 Graph Neural Network Encoder

• 2.2.2 Classifier

• 2.2.3 Label-invariant Augmentation

• 2.2.4 Projection Head

• 2.2.5 Objective Function

• 3 Experiments

• 3.3 Algorithmic Performance

• 3.4 In-depth Exploration

• 4 Conclusion

  __EOF__

  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EVZe79Cv-1666458216680)(https://blog.csdn.net/BlairGrowing)]Blair - 本文链接： https://blog.csdn.net/BlairGrowing/p/16816493.html

• 关于博主： 评论和私信会在第一时间回复。或者直接私信我。
• 版权声明： 本博客所有文章除特别声明外，均采用 BY-NC-SA 许可协议。转载请注明出处！
• 声援博主： 如果您觉得文章对您有帮助，可以点击文章右下角**【[推荐](javascript:void(0)😉】**一下。

总结

以上是生活随笔为你收集整理的论文解读（GLA）《Label-invariant Augmentation for Semi-Supervised Graph Classification》的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。