基于图卷积网络的图深度学习

        基于图卷积网络的图深度学习

先简单回顾一下,深度学习到底干成功了哪些事情!

深度学习近些年在语音识别,图片识别,自然语音处理等领域可谓是屡建奇功。ImageNet:是一个计算机视觉系统识别项目, 是目前世界上图像识别最大的数据库,并且被业界熟知。

我们先回顾一下,没有大数据支撑的欧式深度学习技术。对于一个字母“Z”的识别,我们通常是建立一个2D网格(点阵),如果将其中的点连接起来,定义这样的连接方式所形成的就是“Z”。然后是用其他字母来测试,这个模型的正确性。


传统深度学习的方法,实际上就是一种手工设计特征的过程。而且,在准确率上没有保障。而真正的深度学习,端到端的学习,其中的过程到底发生了什么,设计者什么也不知道,自然也不会人为的去干涉。

如果数据不能网格化,那么CNNs就失去了作用。所以,CNNs在一定程度上还是有很多缺陷的。例如图结构数据,如何处理?在现实世界中这样的例子很多很多:社交网络(著名的六度理论),万维网,知识图,等等这些都是图结构,不是网格结构,对于这些我们该怎么解决。

下面是一个简单的解决图结构数据的方法。

这个方法到底会出现什么样的问题呢?为了解决问题,我们需要什么呢?

先简单介绍一下第一阶消息传递的GCNs,这个理论在2009年就已经被提出来了。

接下来,我们了解一下GCN模型架构!

GCN模型架构到底能干什么呢?先举个小栗子。

GCN模型与大名鼎鼎魏勒雷曼算法的关系到底是什么样的呢?

图的半监督分类也是一种不错的方法。

半监督分类嵌入方法——两步管道,这个方法也有一些问题,但我想这是可以解决的。

举个小栗子,视频链接是一个关于半监督学习的小例子,有兴趣的朋友可以去看一下。

视频:
http://tkipf.github.io/graph-convolutional-networks/

此外,还有关于引文网络的分类,也可以 通过这个方法实现。

下面2-layerGCN模型的实验结果

还要一些这个方法最近应用到其他程序的案例。

用这个方法关于图auto-encoders链接的预测。下面是auto-encoders的介绍

Autoencoders
进一步的阅读

Blog post Graph Convolutional Networks:
http://tkipf.github.io/graph-convolutional-networks

Code on Github:
http://github.com/tkipf/gcn

Kipf & Welling, Semi-Supervised Classification with Graph Convolutional Networks, ICLR 2017:
https://arxiv.org/abs/1609.02907

Kipf & Welling, Variational Graph Auto-Encoders, NIPS BDL Workshop, 2016: https://arxiv.org/abs/1611.07308

时间: 2024-10-11 11:45:58

基于图卷积网络的图深度学习的相关文章

【GCN】图卷积网络初探——基于图(Graph)的傅里叶变换和卷积

[GCN]图卷积网络初探——基于图(Graph)的傅里叶变换和卷积 2018年11月29日 11:50:38 夏至夏至520 阅读数 5980更多 分类专栏: # MachineLearning 版权声明:本文为博主原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/qq_41727666/article/details/84622965 本文为从CNN到GCN的联系与区别——GCN从入门到精(fang)通(qi

一种基于脑电图情感识别的新型深度学习模型

目录 本分享为脑机学习者Rose整理发表于公众号:脑机接口社区(微信号:Brain_Computer).QQ交流群:903290195 机器学习的最新进展使得检测和识别人类情绪的技术也得到了快速的发展.其中一部分机器学习技术中是通过分析脑电图(EEG)信号来工作的,这些信号本质上是对从一个人的头皮上收集的脑电活动的记录. 过去十多年来,大多数基于脑电图的情绪分类方法都采用了传统的机器学习方法,例如支持向量机(SVM)模型,因为这些方法需要的训练样本较少.事实上之所以使用需要训练样本量少的方法是因

基于深度学习的图像语义编辑

深度学习在图像分类.物体检测.图像分割等计算机视觉问题上都取得了很大的进展,被认为可以提取图像高层语义特征.基于此,衍生出了很多有意思的图像应用. 为了提升本文的可读性,我们先来看几个效果图. 图1. 图像风格转换 图2. 图像修复,左上图为原始图,右下图为基于深度学习的图像 图3. 换脸,左图为原图,中图为基于深度学习的算法,右图为使用普通图像编辑软件的效果 图4. 图像超清化效果图,从左到右,第一张为低清图像三次插值结果,第二张残差网络的效果,第三张为使用对抗神经网络后的结果,第四张为原图.

【深度学习笔记】第 6 课:卷积神经网络简介

到目前为止,我们已经大致地介绍了一些新网络 但是,如果你对数据已有一些了解,比如它是一张图片,或者一系列事物,你可以做得更好 颜色 想法非常简单,如果你的数据是某种结构,则你的网络没有必要从零开始学习结构,它会表现得更好 例如,假设你想尝试分类这些字母,你知道颜色并不是让A成为A的重要因素 你认为怎么样会使得你的分类器更容易学习? 一个使用彩色照片的模型还是只使用灰度的模型 直观地说,如果一个字母表现为你从未见过的颜色,当你尝试分类字母时,忽略颜色的特性将使得模型变得更加容易 统计不变性 这是另

图卷积

原文:http://tkipf.github.io/graph-convolutional-networks/ 多层图卷积网络 (GCN) with first-order filters. GCNs Part I: Definitions 给定一个网络结构G=(V,E), 1. N个节点,每个节点有D维信号或特征,即节点输入信号为N*D维矩阵, 记作X 2. 图结构表示,邻接矩阵A 3. 放入到图卷积网络中,得到输出Z,其中Z是N*F矩阵, F代表每个节点输出的特征维度 至于这个多层图卷积网络

深度学习 vs 机器学习 vs 模式识别

整理:深度学习 vs 机器学习 vs 模式识别 发表于2015-03-24 22:58| 78882次阅读| 来源个人博客| 41 条评论| 作者Tomasz Malisiewicz 模式识别深度学习机器学习数据科学家 摘要:本文我们来关注下三个非常相关的概念(深度学习.机器学习和模式识别),以及他们与2015年最热门的科技主题(机器人和人工智能)的联系,让你更好的理解计算机视觉,同时直观认识机器学习的缓慢发展过程. [编者按]本文来自CMU的博士,MIT的博士后,vision.ai的联合创始人

图像识别中的深度学习 转

转:http://mp.weixin.qq.com/s?__biz=MzAwNDExMTQwNQ==&mid=209152042&idx=1&sn=fa0053e66cad3d2f7b107479014d4478#rd#opennewwindow 1.深度学习发展历史 深度学习是近十年来人工智能领域取得的重要突破.它在语音识别.自然语言处理.计算机视觉.图像与视频分析.多媒体等诸多领域的应用取得了巨大成功.现有的深度学习模型属于神经网络.神经网络的起源可追溯到20世纪40年代,曾经

[译]深度学习(Yann LeCun)

深度学习 严恩·乐库  约书亚•本吉奥  杰弗里·希尔顿 摘要深度学习是计算模型,是由多个处理层学习多层次抽象表示的数据.这些方法极大地提高了语音识别.视觉识别.物体识别.目标检测和许多其他领域如药物发现和基因组学的最高水平.深学习发现复杂的结构,在大数据集,通过使用反向传播算法来说明如何一台机器应改变其内部参数,用于计算每个层中表示从前一层的表示.深度卷积网络在处理图像.视频.语音等方面都带来了新的突破,而递归网络在连续的数据,如文本和语音有更出彩的表现.引言机器学习技术增强了现代社会的许多方

各种编程语言的深度学习库整理

Python 1. Theano是一个python类库,用数组向量来定义和计算数学表达式.它使得在Python环境下编写深度学习算法变得简单.在它基础之上还搭建了许多类库. 1.Keras是一个简洁.高度模块化的神经网络库,它的设计参考了Torch,用Python语言编写,支持调用GPU和CPU优化后的Theano运算. 2.Pylearn2是一个集成大量深度学习常见模型和训练算法的库,如随机梯度下降等.它的功能库都是基于Theano之上. 3.Lasagne是一个搭建和训练神经网络的轻量级封装