Knowledge Embedding Based Graph Convolutional Network

研究问题

提出了一种可以充分结合异构的节点信息和边信息，同时学习这两者的嵌入的图卷积网络KE-GCN，并将之前的几种知识图谱CNN纳入一个统一的框架下

背景动机

• 传统的图卷积模型一般不关注学习边的嵌入，且无法处理异构的边信息
• 知识图谱领域的大多数嵌入学习方法没有利用到图的结构信息
• 知识图谱领域的图卷积模型虽然同时学习了节点和边的嵌入，但主要精力还是在根据关系嵌入优化实体嵌入，而没有对称的过程

模型方法

• 重新解释邻居聚合公式

传统GCN对非异构边的邻居聚合公式可以表示为

现在引入得分函数f估计每条边的置信度，假设对于边，其置信度对应两个节点嵌入的内积，即，等式**(1)**可以重写为以下对f进行求导的式子

此时，等式**(2)**中的就可以看作是一步梯度上升，以最大化，因此整体的聚合过程的目标可以看做是使知识图谱中的边的置信度最大化

• 模型框架

现在考虑知识图谱中的异构边，也就是边会有多种类型，得分函数表示为，将得分函数进一步细化为入度和出度两部分，新的邻居聚合公式写作

上面是实体嵌入的更新公式。下面是关系嵌入的更新公式，其中

其计算图示如下，先计算f，再对其导数进行聚合

为了减少参数量，设置，并对实体和关系的嵌入进行规范化，即计算及

代入具体模型

几种不同模型计算过程的区别如下

• CompGCN
  • 原始实体更新公式

• 原始关系更新公式

• 代入论文公式

• R-GCN

  • 实体更新公式

  • 代入论文公式

• W-GCN

  • 实体更新公式

  • 代入论文公式
    

实验部分

• 候选得分函数
  • TransE：
  • DistMult：
  • TransH：
  • TransD：
  • RotatE：
  • QuatE：
• 知识图谱对齐

这个任务的目的是找到两个知识图谱中对应同一个真实世界实体的实体，论文通过计算两个共享参数的GCN对两个知识图谱分别计算得到的实体嵌入之间的距离来对齐实体。模型训练的损失函数定义如下，就是让对齐实体的距离尽可能近，不对齐实体的距离尽可能远。

不同模型以及不同损失函数的效果如下

• 实体分类任务

评价

这篇论文可以看做是对CompGCN做的一个改进，在计算关系嵌入时也考虑关联的实体信息。虽然只有这一个创新点，但是写得很高明，直接对邻居聚合的过程做了一个重新的解释，再从新视角介绍自己的方法。论文主要有三个地方有点奇怪，一个是没有报告实体分类模型的结果，它对比的模型明明都是实体分类模型，最后却报告了实体对齐的实验结果，让人怀疑它在实体分类上的实验效果；另外一点就是其他卷积模型都只使用了单层或双层卷积，它用了四层，不知道卷积层数是不是也提升很大；以及论文中没有消融实验。

总结

以上是生活随笔为你收集整理的Knowledge Embedding Based Graph Convolutional Network的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。