Graph Neural Network图神经网络

A.Mathematical Notations

图表示：

V、E表示节点和边

??∈?是一个节点，???=??,??∈?表示Vi和Vj之间的一条边

节点V的邻域可以定义为?(?)={?∈?∣(?,?)∈?}

图的邻接矩阵用?∈ℛ?×?来描述，N是节点数，N=|V|

???=1 if ??,??∈? and ?≠?;???=1

在无向图中，Aij表示节点Vi和Vj之间的边连接

在有向图中，Aij表示从Vi指向Vj的边

实际应用中，图可能具有节点特征(属性)，?∈ℛ?×?其中C是节点特征向量的维度

度矩阵?∈ℛ?×?是一个对角矩阵，可得到???=?=1????

图用拉普拉斯矩阵表示：

三个矩阵间的关系如图6

B. GNN Architectures

GNN的接收两个贡献的输出，特征矩阵X和邻接矩阵A

GNN的输出可以通过一般的前向传播方程(3)获得

gnn表示GNN的一个操作，?是架构中的层数

(1)Graph Convolutional Networks(GCNs)

GNN可视为CNN体系结构的扩展，从图结构输入中提取关系/空间特征

GCN计算方法：

，??是N阶单位矩阵

?是对角矩阵，对角元素是

σ是激活函数，ReLU函数

Θ∈ℛ?×?′要学习的网络的参数矩阵

?′表示输出的维度

?∈ℛ?×?′是输出矩阵

交叉熵损失函数：

???表示训练点的数量，M是类别的数量，Z是从公式（4）中获得,Y是训练集的对应标签

在分类问题中，输出的维度等于类别的数量，?′=?

GCN显示出w.r.t重大改进，在非关系型架构之前还有需要改进的方面：

（1）浅层GCN网络无法大规模传播标签信息，限制了感受野

（2）深度GCN网络过度平滑，多层GCN会十数据在前向传输过程变得高度相似，无法正确区分，降低性能

（3）GCN属于转导学习模型。处理新数据时，必须引入新的节点来修改原来的关联图，必须重新训练整个GCN模型以适应新的图

（4）对于给定的节点，GCN任务它的所有邻居都同等重要，而不是选择性关注特殊的邻居；这就限制了性能

2)Graph Attention Networks

GAT架构使用注意力机制为节点邻居分配不同的权重，是一个归纳模型，GAT在训练后执行在线（故障诊断）任务

GAT架构比GCN更复杂。

特征矩阵?=?1,?2,…,??∈ℛ?×?,??∈ℛ?,?=1,2,…,?

对节点的向量??进行线性变换，得到特征向量??′∈ℛ?′，W为线性映射矩阵:

GAT中，给定??，邻居??的注意力权值由???反映，线性映射后的节点i和j 的??′和??′连接在一起，用a计算内积向量?的长度为2?′。

激活函数使用Leaky_ReLU，最终的softmax层对权重值进行归一化

||表示连接运算符，第（l+1）个隐藏层的输出变为

σ表示激活函数，hl是第l个隐藏层的输出，h0 = X。GAT中可学习的参数包括向量a和参数矩阵W。

3)Graph Sample and Aggregate

GraphSage 属于归纳学习模型

GraphSage 学习了一个聚合函数，该函数可以聚合特定节点及其邻居的特征以获得其高阶特征 [56]。

将输入特征矩阵表示为 X。GraphSage 模型中第 l 个隐藏层的前向传播公式为：

其中Concat表示连接操作，Aggre对特征进行聚合操作，hl为第l个隐藏层的输出，h0 = X。

Graphsage使用四种类型的特征聚合操作，包括mean aggregator、GCN aggregator、Long Short-Term Memory(LSTM)聚合器和池化聚合器。 GraphSage不涉及注意力机制，因此它对所有邻居节点一视同仁。

由于归纳学习的特性，GraphSage 可用于在线故障诊断任务，与 GCN 相比，计算复杂度较低。