null - 程序员宅基地

解决‘GNN’中‘over—smoothing’问题（通俗易懂）_over-smoothing-程序员宅基地

一：'over-smoothing'问题的提出：

如下图：

按照我们以往学习‘CNN’等其他层时，我们通常会有这么一个概念，就是加入越多层，我们的神经网络的表达能力也就越强。这种观念在‘GNN’层中是不合理的，为什么这么说呢？

再解释这问题之前我们要引入一个概念--‘receptive field’（接受域）如下图：

接受域简单来讲就是假如有1层GNN层，那么我们是不是就是从要嵌入节点（图中黄色节点）的一阶邻居（图中红色的点）那里拿信息？那对于有K层GNN层来讲是不是从要嵌入节点的1-k阶邻居那里拿信息？对的，接受域就是指你具体要到哪些邻居那里拿信息，那些邻居的总和就是接受域

知道了接受域的概念后我们就可以定义‘over-smoothing’问题了，如下图：

假如现在你想进行链路预测，那你就需要对一对节点进行嵌入，如果GNN层很深的话，这两个节点所共享的邻居就会非常多，导致这两个节点的嵌入非常相似（如图中的红点部分为两个节点的接受域的共享部分）（黄色节点是需要嵌入的两个节点），这就是‘over-smoothing’问题了

二：'over-smoothing'问题的产生：

所以我们可以这么归纳‘over-smoothing’问题的产生：

我们知道节点嵌入是取决于它的接收域范围的，如果两个节点的接收场高度重叠，那么他们的节点嵌入也可能十分相似，所以会有以下逻辑：我们堆叠过多的GNN层—节点具有高度重叠的接收域—节点的嵌入变得十分相似—这就是我们所说的over-smoothing问题

三:'over-smoothing'问题的解决：

lesson1：

在增添GNN层的时候要小心添加（不像是其他如CNN网络那样，过多的添加GNN层对节点精确嵌入没有好处）：
（1）：要分析可行的节点接收域，分析多少层GNN是好的（这可以每一层叠加完之后看训练的准确率来确定最合适的gnn层数）
（2）：当我们要设计l层GNN的时候，不要轻易的让层数增加，试着使用不同的方法来怎么加精度的问题

lesson2：

我们知道层数小意味着我们神经网络的表达能力会下降，那我们如何能做到让少层数的GNN还能增强GNN的表达能力呢？
solution1:在一层GNN层中增加表达能力，我们可以通过聚合和转换，让一层GNN层本身变成深度
的一个神经网络（比如增加linear层，dropout层，激活层，attention层，Bantch Norm层等）如图中的几种层：

solution2:（常用）我们可以添加不传递消息的图层（比如linear层等），这里意味着，我们不必全是GNN层在神经网络模型的构建中如下图：你可以把它们看作预处理（preprocess）层和后处理（postprocess）层，来增加神经网络的表达能力，这也意味着我们将经典的神经网络也结合了进来。

lesson3：

如果我需要解决的问题就是需要很多GNN层，那该怎么办呢？
solution：添加一些跳过链接的概念（skip connection）这可以理解为在最后添加早些时候（层数较少时候的嵌入）输入到下面深层次的嵌入中如下图左边部分（我们可以添加红色的链接，这样做可以跳过1层或多层GNN层，比如从第一层跳到第三层而这里的数据不需要经过第二层），所以会出现这种情况，（下图中中间部分）相当于把输入复制成了两份，一份通过正常的GNN层顺序更新，另一份走的是skip connection，最后把这两种数据结合起来。这样可以有效的提升最后的表达能力（因为输出混合了多层的输入）

那为什么skip connection有用呢？

（拿普通的GCN层为例）就可以简单理解为走正常GNN层更新的得到的最终节点的嵌入（如下图黄色部分）会参考之前层更新后的节点嵌入（如下图蓝色部分），使得减轻‘over-smoothing’的问题。

四：参考视频：

1：属于视频的7.3部分内容：

【双语字幕】斯坦福CS224W《图机器学习》课程(2021) by Jure Leskovec_哔哩哔哩_bilibilihttps://www.bilibili.com/video/BV1RZ4y1c7Co?p=28&spm_id_from=pageDriver

本文链接：https://blog.csdn.net/weixin_57643648/article/details/122971806

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

c# 调用c++ lib静态库_c#调用lib-程序员宅基地

文章浏览阅读2w次，点赞7次，收藏51次。四个步骤1.创建C++ Win32项目动态库dll 2.在Win32项目动态库中添加外部依赖项 lib头文件和lib库3.导出C接口4.c#调用c++动态库开始你的表演...①创建一个空白的解决方案，在解决方案中添加 Visual C++ , Win32 项目空白解决方案的创建：添加Visual C++ , Win32 项目这......_c#调用lib

deepin/ubuntu安装苹方字体-程序员宅基地

文章浏览阅读4.6k次。苹方字体是苹果系统上的黑体，挺好看的。注重颜值的网站都会使用，例如知乎：font-family: -apple-system, BlinkMacSystemFont, Helvetica Neue, PingFang SC, Microsoft YaHei, Source Han Sans SC, Noto Sans CJK SC, W..._ubuntu pingfang

html表单常见操作汇总_html表单的处理程序有那些-程序员宅基地

文章浏览阅读159次。表单表单概述表单标签表单域按钮控件demo表单标签表单标签基本语法结构<form action="处理数据程序的url地址“ method=”get|post“ name="表单名称”></form><!--method将表单中的数据传送给服务器处理，get方式直接显示在url地址中，数据可以被缓存，且长度有限制；而post方式数据隐藏传输，_html表单的处理程序有那些

PHP设置谷歌验证器（Google Authenticator）实现操作二步验证_php otp 验证器-程序员宅基地

文章浏览阅读1.2k次。使用说明:开启Google的登陆二步验证（即Google Authenticator服务）后用户登陆时需要输入额外由手机客户端生成的一次性密码。实现Google Authenticator功能需要服务器端和客户端的支持。服务器端负责密钥的生成、验证一次性密码是否正确。客户端记录密钥后生成一次性密码。下载谷歌验证类库文件放到项目合适位置(我这边放在项目Vender下面)https://github.com/PHPGangsta/GoogleAuthenticatorPHP代码示例://引入谷_php otp 验证器

【Python】matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距-程序员宅基地

文章浏览阅读4.3k次，点赞5次，收藏11次。matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距

docker — 容器存储_docker 保存容器-程序员宅基地

文章浏览阅读2.2k次。①Storage driver 处理各镜像层及容器层的处理细节，实现了多层数据的堆叠，为用户提供了多层数据合并后的统一视图②所有 Storage driver 都使用可堆叠图像层和写时复制（CoW）策略③docker info 命令可查看当系统上的 storage driver主要用于测试目的，不建议用于生成环境。_docker 保存容器

随便推点

网络拓扑结构_网络拓扑csdn-程序员宅基地

文章浏览阅读834次，点赞27次，收藏13次。网络拓扑结构是指计算机网络中各组件（如计算机、服务器、打印机、路由器、交换机等设备）及其连接线路在物理布局或逻辑构型上的排列形式。这种布局不仅描述了设备间的实际物理连接方式，也决定了数据在网络中流动的路径和方式。不同的网络拓扑结构影响着网络的性能、可靠性、可扩展性及管理维护的难易程度。_网络拓扑csdn

JS重写Date函数，兼容IOS系统_date.prototype 将所有 ios-程序员宅基地

文章浏览阅读1.8k次，点赞5次，收藏8次。IOS系统Date的坑要创建一个指定时间的new Date对象时，通常的做法是：new Date("2020-09-21 11:11:00")这行代码在 PC 端和安卓端都是正常的，而在 iOS 端则会提示 Invalid Date 无效日期。在IOS年月日中间的横岗许换成斜杠，也就是new Date("2020/09/21 11:11:00")通常为了兼容IOS的这个坑，需要做一些额外的特殊处理，笔者在开发的时候经常会忘了兼容IOS系统。所以就想试着重写Date函数，一劳永逸，避免每次ne_date.prototype 将所有 ios