07-noderepr 图机器学习之图表征学习

网络中的机器学习

节点分类

链接预测

机器学习的生命圈需要特征工程

网络的特征学习——特征向量   embedding

network embedding的意义

节点的表征

节点的相似度衡量→网络相似度衡量

网络信息编码,生成节点表征

用途:异常检测,属性预测,聚类,关系预测

例子:deepwalk

难度:当前的深度学习视为序列或网格数据而设计的,但网络结构比这些更复杂,没有固定的空间结构,没有固定的顺序,是动态的,并且有多类特征


Embedding Nodes

假设我们有图G,V是节点集合,A是邻接矩阵,

将节点编码,编码后的向量计算得到的相似度与原网络的一致

因此需要定义一个编码器,以及计算节点相似度的函数,并优化encoder

浅层encoding,有一个大矩阵,存储各类节点的向量,encoder只是look-up,类似于word embedding

常见的方法:deepwalk,node2vec,transE

如何定义节点相似性

例子:若两个节点的embedding相似,那么在物理结构上,他们:相连?有相同邻居?相似的结构角色?等


随机游走→node embedding

随机游走:从一个节点出发,随机选择一个邻居节点,游走到该节点,再重复上述步骤。经过的节点组成的序列即为图的random walk

公式表示节点u,v在random walk中共同出现的概率

步骤:

1. 随机游走,得到若干序列

2. 优化encoder,使共同出现的节点的序列相似度更近

random walk的意义:

能充分表达网络的结构(邻居信息)

高效性,不需要考虑网络中的所有节点

非监督的学习,整体的过程类似于词向量,此处不加赘述

负样本抽样  窗口 + 负样本

演变为固定短长度的random walk

如何随机游走?


node2vec的概述

具有相似邻居的节点得到的向量相似

游走:广度,深度

node2vec的步骤

embedding的使用:

聚类,社区发现

节点分类

关系预测


多关系数据模型的translating Embeddings

多关系模型,例如,知识图谱,边具有多类关系

知识图谱填充→关系预测

transE

三元组关系 (实体1,关系,实体2)(h,l,t)

首先,实体已被表示未向量

那么关系如何表示呢?若l也是一个向量,那么应满足 h+l≈t

transE算法


整图的Embedding

将整个图通过向量表示

用途:鉴别分子是否有毒;鉴别网络是否异常

方法1:

基于node2vec得到每个节点的向量,求和或平均得到整个网络的向量

方法2:

引入虚拟节点来表征网络向量??

方法3:

匿名游走??需要看论文才能了解

每个节点是匿名的

当游走长度为3时,共有5个匿名。游走长度增长时,匿名的类别数如图所示

枚举步长为l的ai游走,并记录出现的次数

将图表示为这些游走的概率分布

计算图中所有的匿名游走可能是不可行的

抽样得到近似的分布

需要的random walk的次数如公式所示

学习每个匿名walk的Embedding,求和/平均/拼接后的结果即为图的表征

来自为知笔记(Wiz)

原文地址:https://www.cnblogs.com/combfish/p/12271482.html

时间: 2024-11-08 23:06:40

07-noderepr 图机器学习之图表征学习的相关文章

10-graph-gen 图机器学习之图生成模型

图深度生成模型 deep generative models for graph 回顾上一节课中的图编码,图卷积等 今天,来学习图深度解码,也就是反编码,最终输出一个图结构 Problem of Graph Generation图生成需要解决的问题 给定一个真实图,生成一个合成图 那么,什么才是好的生成模型? 图生成的意义 生成→深入探索图行程的过程 异常检测 预测--从过去预测未来 新网络的仿真 图填充 如果...场景?? 图生成的任务: 真实图的生成 目标导向图的生成,例如分子生成 为什么如

08-GNN 图机器学习之图神经网络

图神经网络 node embedding 回顾了之前node2vec的例子以及深度学习卷积的一些基础 浅层encoder的局限性: 参数数量O(v):节点间没有共享参数,每个节点有自己的embedding 不能表征未见过的节点 没有综合考虑节点特征 本节学习图神经网络,多层的非线性的 那么,在图中,如何做卷积? 如果输入是邻接矩阵,那么模型不能适配各种规模的网络:对节点的顺序也没有敏感性 图的深度学习基础 起初,对于一个图G V:节点集合 A:邻接矩阵 X:节点的特征向量 图卷机网络 思路:图的

UML学习(类图和序列图等)

visio绘制UML图使用visio 提示此UML形状所在的绘图页不是UML模型图的一部分 请问这个问题怎么解决?新建->选择绘图类型->选择软件与数据库模板->选择UML模型图->注意:如果不选择UML模型图的话,可能会出现无法编辑形状文本,提示“此UML形状所在的绘图页不是UML模型图的一部分,该形状设计用于利用UML模型图模板创建的绘图”所以利用Visio绘UML图第一步就是选择绘图类型为软件中的UML模型图. 还可以参考百度云盘的UML学习资料 参考:UML中几种类间关系:

关于自动寻径和图、邻接表的学习和启发

以后的游戏中可能会用到人物的自动寻径,在网上看到一个非常不错的博文,特学习了一下,并转了过来为以后留着... 再次感谢 Siliphen的分享,本文转载自 http://blog.csdn.net/stevenkylelee/article/details/38408253 本文乃Siliphen原创,转载请注明出处:http://blog.csdn.net/stevenkylelee 本文的实现使用的环境是:Cocos2d-x 3.2,VS2013 本文,我们最终实现的地图行走效果如下2图:

机器学习导图系列(1):数据处理

机器学习导图系列教程旨在帮助引导开发者对机器学习知识网络有一个系统的概念,其中具体释义并未完善,需要开发者自己探索才能对具体知识有深入的掌握.本项目灵感来自Daniel Formoso的github开源项目.本文作者对其项目进行翻译.整理.批注等二次创作,其中不乏生僻的数学名词,对于没有留过学的作者来说费了很多功夫.我又将导图整理成了知识卡片,方便大家查看.由于机器学习的知识网络很大,导致完整的导图过大,文章中的图片可能经过压缩,如需完整图片可查看github项目machine-learning

机器学习导图系列(3):过程

机器学习导图系列教程旨在帮助引导开发者对机器学习知识网络有一个系统的概念,其中有些具体释义并未完善,需要开发者自己探索才能对具体知识有深入的掌握.本项目灵感来自Daniel Formoso的github开源项目.本文作者对其项目进行翻译.整理.批注等二次创作,其中不乏生僻的数学名词,对于没有留过学的作者来说费了很多功夫.我又将导图整理成了知识卡片,方便大家查看.由于机器学习的知识网络很大,导致完整的导图过大,文章中的图片可能经过压缩,如需完整图片可查看github项目machine-learni

02-gnp-smallworld 图机器学习之最小世界

本节重点:如何衡量一个网络 (网络量化) 网络的关键属性: 1. 度的分布:P(k) 2. 路径长度:h 3. 集聚系数(clustering coefficient):C 4. 连通分量(connected components):s 1. 度的分布 degree distribution:P(k) 统计每个节点的度,形成归一化后的直方图 2. 路径 3. 距离:最短路径 4. 直径:网络中任意节点最短距离的最大值 5. 平均路径长度(针对连通图或强连通的有向图) 6. 集聚系数(无向图):

设计模式的学习(二)-UML中的类图及类图之间的关系

统一建模语言(Unified Modeling Language,UML)是用来设计软件蓝图的可视化建模语言,为面向对象的建模语言的国际标准.他的特点是简单,统一,图形化,能表达软件设计中的动态与静态信息. 统一建模语言能为软件开发的所有阶段提供模型化和可视化支持,而且融入了软件工程领域的新思想.新方法和新技术,使软件设计人员沟通更简明,进一步缩短的设计时间,减少开发成本,它的应用领域很宽,不仅适合与一般系统的开发,而且适合于并行与分布式系统的建模. UML从目标系统的不同角度出发,定义了用例图

机器学习(Machine Learning)&深度学习(Deep Learning)资料

机器学习(Machine Learning)&深度学习(Deep Learning)资料 <Brief History of Machine Learning> 介绍:这是一篇介绍机器学习历史的文章,介绍很全面,从感知机.神经网络.决策树.SVM.Adaboost到随机森林.Deep Learning. <Deep Learning in Neural Networks: An Overview> 介绍:这是瑞士人工智能实验室Jurgen Schmidhuber写的最新版本