深入理解图注意力机制(Graph Attention Network) |
您所在的位置:网站首页 › 注意力机制是神经网络吗 › 深入理解图注意力机制(Graph Attention Network) |
©PaperWeekly 原创 · 作者|纪厚业 学校|北京邮电大学博士生 研究方向|异质图神经网络及其应用 介绍 图神经网络已经成为深度学习领域最炽手可热的方向之一。作为一种代表性的图卷积网络,Graph Attention Network (GAT) 引入了注意力机制来实现更好的邻居聚合。通过学习邻居的权重,GAT 可以实现对邻居的加权聚合。因此,GAT 不仅对于噪音邻居较为鲁棒,注意力机制也赋予了模型一定的可解释性。 下图概述了 Graph Attention Network 主要做的事情。 针对节点 和节点 , GAT 首先学习了他们之间的注意力权重 (如左图所示);然后,基于注意力权重 来对节点 的表示 加权平均,进而得到节点 的表示 。 深入理解图注意力机制 2.1 非对称的注意权重 首先,介绍下如何学习节点对 之间的注意力值 。很明显,为了计算 ,注意力网络 |
今日新闻 |
点击排行 |
|
推荐新闻 |
图片新闻 |
|
专题文章 |
CopyRight 2018-2019 实验室设备网 版权所有 win10的实时保护怎么永久关闭 |