论文解读（MGAE）《MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs》

论文标题：MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs论文作者：Qiaoyu Tan, Ninghao Liu, Xiao Huang, Rui Chen, Soo-Hyun Choi, Xia Hu论文来源：2022, ArXiv论文地址：download 论文代码：download

MAE 在图上的应用。

整体框架：

本文的掩藏目标是随机掩藏一部分（30%）边，然后考虑 GCN、GraphSage 作为主干网络提取特征信息，对于被掩藏的边将通过 Decoder 训练得到。

掩藏策略：

• • Undirected masking：将图看成无向图，删除 (u,v)(u,v)(u,v) 之间的边，对应于 AAA 中的两条边；
    • Directed masking：将图看成有向图，删除 (u,v)(u,v)(u,v) 之间的边，对应于 AAA 中的一条有向边；

注意：上述两种策略边掩藏率是设置一样的。

由于Encoder 采用的是基于消息传递机制的 Encoder，所以最终只得到被保留部分的节点潜在嵌入。

Encoder KKK 层传播结构共生成的保留节点嵌入矩阵 {H(1),H(2),⋯,H(K)}{H(1),H(2),⋯,H(K)}left{mathbf{H}^{(1)}, mathbf{H}^{(2)}, cdots, mathbf{H}^{(K)}right}，对于存在的保留节点进行 cross-correlations 操作，即

hev,u=∥Kk,j=1h(k)v⊙h(j)uhev,u=‖k,j=1Khv(k)⊙hu(j)mathbf{h}_{e_{v, u}}=|_{k, j=1}^{K} mathbf{h}_{v}^{(k)} odot mathbf{h}_{u}^{(j)}

其中：

• • ∥‖| 表示连接；
    • ⊙⊙odot 表示元素乘法；
    • hev,u∈RdK2hev,u∈RdK2mathbf{h}_{e_{v, u}} in mathbb{R}^{d K^{2}} 表示节点 vvv 和节点 uuu 之间的交叉表示，分别考虑它们的 kkk 阶邻域和 jjj 阶邻域；

为避免过于复杂，通常 K=2K=2K=2。

假设剩余的节点有 mmm 个，那么输入到对应的 MLP Decoder  的将有 m(m−1)m(m−1)m(m-1) （无向图）个特征向量，最终预测 (u,v)(u,v)(u,v) 直接边存在的概率通过下式生成：

yv,u=MLP(h(K)v,h(K)u)yv,u=MLP⁡(hv(K),hu(K))y_{v, u}=operatorname{MLP}left(mathbf{h}_{v}^{(K)}, mathbf{h}_{u}^{(K)}right)

MGAE解码器，只重建掩码的边，目标函数如下：

L=−∑(v,u)∈Emask logexp(yvu)∑z∈Vexp(yvz)L=−∑(v,u)∈Emask log⁡exp⁡(yvu)∑z∈Vexp⁡(yvz)mathcal{L}=-sumlimits _{(v, u) in mathcal{E}_{text {mask }}} log frac{exp left(mathbf{y}_{v u}right)}{sum_{z in mathcal{V}} exp left(mathbf{y}_{v z}right)}

为加速训练，本文采用负采样策略。

整体算法如下：

数据集

Link prediction

Node classifification

图上边掩码AE。

2022-06-17 创建文章

论文解读目录

• 论文信息

• 1 Introduction

• 2 Method

• 2.1 Encoder

• 2.2 Cross-correlation decoder

• 2.3 Reconstruction target

• 2.4 Algorithm

• 3 Experiments

• 4 Conclusion

• 修改历史

  __EOF__

  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-862nLl5v-1655527196564)(https://blog.csdn.net/BlairGrowing)]Blair - 本文链接： https://blog.csdn.net/BlairGrowing/p/16386259.html

• 关于博主： 评论和私信会在第一时间回复。或者直接私信我。
• 版权声明： 本博客所有文章除特别声明外，均采用 BY-NC-SA 许可协议。转载请注明出处！
• 声援博主： 如果您觉得文章对您有帮助，可以点击文章右下角**【[推荐](javascript:void(0)】**一下。