栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

论文阅读:LightGCN: Simplifying and Powering Graph Convolution Network for Recommendation

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

论文阅读:LightGCN: Simplifying and Powering Graph Convolution Network for Recommendation


Author:Xiangnan He、Kuan Deng、Xiang Wang、Yan Li、Yongdong Zhang、Meng Wang∗
论文地址

Motivation:

1.GCN在CF中成为了最先进的技术,但是对于推荐来说不是很好的理解。2.在应用GCN的相关工作中缺少消融实验的分析。3.GCN被设计之初是为了解决图的分类任务(节点上有很多语义信息)应用了神经网络的操作。4.作者通过实验发现GCN的两个最常见设计特征转换和非线性激活对于CF来说贡献很少的影响或者说带来坏的影响。

提出了lightgcn,对于NGCF做了改动,去除掉NGCF的特征转换(W1、W2)和非线性激活(激活函数),在最后的预测层把concat换成了每层embeddings的权重和。
NGCF的相关知识

Contribute:

1.强调了GCN的两个常见操作:特征转换和非线性激活,它们并没有给CF带来积极的影响。
2.提出了lightgcn,简化了模型设计,仅含GCN的基本部分。
3.实验证明了lightgcn比NGCF有本质的性能提升,并深层次的分析了lightgcn的合理性。

Method:

1.multiple embedding propagation layers : refine the embeddings by injecting high-order connectivity relations.

与NGCF对比:去除了特征转换(W1、W2)和非线性激活(激活函数)。理由:GCN设计之初是处理分类任务的,节点信息丰富,对于推荐任务来说,节点信息通常只包含ID信息,利用特征转换不会有好的效果。


2.prediction layer: aggregate the refined embeddings from different propagation layers and outputs the affinity score of a user-item pair.

与NGCF对比:把所有层的embeddings concat起来换成了权重和。理由:将不同层的嵌入与加权和结合起来,可以捕捉到图卷积与自连接的效果,这是GCN中的一个重要技巧

3.optimization: BPR Loss


4.细节介绍

与SGCN做了比较,说明了lightgcn不需要加自连接。理由:在邻接矩阵中插入自连接并在其上传播嵌入,本质上等同于在每个LGC层传播的嵌入的加权和。


与APPNP比较,说明了lightgcn与APPNP(我觉得可以想象成resnet)有一样的防止过平滑的性质。理由:通过对lightgcn中的αk设置合适的值,就可以转换到APPNP,所以他们具有相同的性质。


介绍了user的2阶连接的具体细节:

Dataset:

Baselines:

NGCF、Multi-VAE、GRMF

1.不同算法比较性能

  1. 去除掉NGCF的部分比较性能
    -f:去除特征转换
    -n:去除非线性激活
    -fn:全部去除

3.NGCF与lightgcn在不同层之间比较性能

  1. NGCF与lightgcn训练曲线比较

5.lightgcn在模型预测阶段的组合比较
lightgcn是所有层embeddings的加权和。
lightgcn-single只用最后一次embedding做预测。

6.ligctgcn的对称正则化影响比较

7.MF和lightgcn-single的平滑度损失比较

8.lightgcn参数敏感性比较:正则化系数

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/1029525.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号