AI人工智能系列随笔:syntaxnet 初探(1)

  人工智能是 最近的一个比较火的名词,相信大家对于阿尔法狗都不陌生吧?其实我对人工智能以前也是非常抵触的,因为我认为机器人会取代人类,成为地球乃至宇宙的霸主,但是人工智能带给我的这种冲击,我个人感觉是欲罢不能的,进入正题,网上找了一个人工智能的框架,它的名字叫做syntaxnet ,有兴趣的可以去看看,底层是用C++实现的。

  由于人工智能是一个比较新的名词,连我自己接触的也很少;所以也只能带大家一起摸索了,如果园子里有人工智能 方面的大牛,还希望多多请教。

  syntaxnet 官方的解释是:有序的神经网络模型。它有另外一个奇怪的名字,叫做:TensorFlow 。TensorFlow实现的模型的描述这里可以找到;GOOGLE花费了大量的时间去研究怎么才能让机器更聪明的学习人类的语言,以及以更快的方式学习人类的语言;

  这里有必要去科普一下TensorFlow,我刚刚查了下;官方的解释是:TensorFlow是一款开源的使用使用数据流图的数值计算类库。在图形中的节点(Node)呈现了各种不同的数学操作等等...剩下的就不翻译了,有感兴趣的可以谷歌一下。其实我外语不太好,各位抱歉了,翻译啥的,慢慢来吧。

训练模型

  下面的教程当中,我将告诉大家 如何训练模型,会介绍更多的和NPL相关的东西;重点关注点是NPL 管道。

词性标注器

  考虑如下句子,它有 很多种不同的意思;I saw the man with glasses 以上句子由下面几部分组成:

  不同的字符串可以分割成如下几组:例如:"I","saw","the" 就是3组,分隔符为空格,每一个单词都有它们不同的意思,大家学过英语的人都知道,英语有时候一个词有10几个意思,并且这次意思在不同的语境中的意思都是不同的;比如这里面的saw是to see的过去式,然而已经提到过,不同的词在不同 的语境当中有不同的意思,比如saw在某些情况下可以作为名词,也有可能是现在时,上面说的需要一点英语基础的。

  如果要理解不同的词的意思,首先是需要知道不同的词在在这个句子中所扮演的不同角色,这个过程就叫做Part-of-Speech (POS)  Tagging,也就是词性标注器,这些角色叫做POS Tags,虽然一个单词可能对于这个句子来说拥有不同的上下文,但是对于任何的一个组成句子的单词来说,当它们的语义组合在一起的时候,往往Tag(释义)的个数会大幅减少,一般来说就是一种意思。

  对于POS Tagging来说,对于一个句子当中定义动词,是一个很有挑战性的东西。当动词和名词的意思很相近的时候,对于任何语言来说,定义动词或者名词,都是极其困难的。 Universal Dependencies 的目的就是为了解决这个问题,有兴趣的可以点开看看。

训练SyntaxNet POS Tagger

  要得到这个句子的所有单词的正确Tag,我们首先必须让机器能够理解这个句子的具体意思,在当前上下文当中。这里我们可以采用一种句子当中的就近原则去分析,比如I saw the man with glasses, saw 的前面是I,saw 的后面是the;比如the的后面,一般来说是接名词或者形容词,而并不是动词。

  为了达到预估什么意思的目的,一般使用如下步骤:从左到右。我们先把这个句子的所有的临近的词配合起来,然后把这些意思都算出来,然后发送给神经网络分类器的前馈,用来分析POS Tags在不同的语境当中的不同意思。因为我们是按照从左到右的顺序,所以下一个单词的意思,也可能是由前一个或者几个单词的意思来判断的,比如I saw the man with glasses,中saw 如果 确定是动词了,the 肯定不是动词,man在句子中的意思或者是语法作用,肯定是前面的the来修饰的,所以后面的单词就算有不同的意思,也能由前面的单词,来进行筛选。

  所有的在这个包里面的模型都使用了灵活的标记语言去定义特性。比如POS Tag ,带参数brain_pos_features 在TaskSpec中,看起来像这样:

stack(3).word stack(2).word stack(1).word stack.word input.word input(1).word input(2).word input(3).word;
input.digit input.hyphen;
stack.suffix(length=2) input.suffix(length=2) input(1).suffix(length=2);
stack.prefix(length=2) input.prefix(length=2) input(1).prefix(length=2)

  注意stack 的意思是表示这个单词已经被Tagged了。所以,详细的说,有3种不同的Types对于这个功能来说:单词,后缀和前缀。所以更像一个嵌入式的矩阵,就好比Table里面又有个Table一样,串联起来了,送入了隐藏的层的链表中。

  下面给大家一张图先睹为快哦~~~

未完待续~~敬请期待~~~

  

时间: 2024-11-08 19:14:19

AI人工智能系列随笔:syntaxnet 初探(1)的相关文章

《zw版·Halcon-delphi系列原创教程》 Halcon分类函数002·AI人工智能

<zw版·Halcon-delphi系列原创教程> Halcon分类函数002·AI人工智能 AI人工智能:包括knn.gmm.svm等 为方便阅读,在不影响说明的前提下,笔者对函数进行了简化: :: 用符号“**”,替换:“procedure” :: 用大写字母“X”,替换:“IHUntypedObjectX” :: 省略了字符:“const”.“OleVariant” [示例] 说明 函数: procedure AddNoiseWhiteContourXld( const Contours

通过tarball形式安装HBASE Cluster(CDH5.0.2)系列随笔

本系列文章只是记录了笔者本人在学习实验安装和使用基于CDH5.0.2的HBASE集群过程中的一些经验教训和心得,绝不是详细的安装过程,因本人不过一初学者,很多方面不甚了了,如果能让不幸读到的人有所得则不胜欣喜,否则大家一笑置之即可. 通过tarball形式安装HBASE Cluster(CDH5.0.2)——集群安装总览 通过tarball形式安装HBASE Cluster(CDH5.0.2)——如何配置分布式集群中的zookeeper 通过tarball形式安装HBASE Cluster(CD

AI人工智能●转型与机遇分享会

[活动背景] 提及AI人工智能,想必大家并不陌生. 智慧城市.智能家居.物联网.语音识别.智能机器人.无人驾驶等.国务院于7月份正式发布<新一代人工智能发展规划>,人工智能正式纳入国家发展战略. 到2030年,人工智能核心规模将超过1W亿元.带动相关产业规模超10W亿,人才缺口达百万!AI人工智能即将迎来爆炸式增长. 光环国际经过近一年的筹备和打磨,精心研发AI人工智能直通车课程,将于10月28日正式开班!课程主要讲授人工智能算法.记起学习.深度学习等技术,涵盖30余个(人脸识别.语音识别等)

AI 人工智能 探索 (四)

在写之前,先对昨天寻路插件再做一些补充,因为该插件不是很完善,所以当我发现有不能满足需求的时候,就会试图更改源代码,或增加接口来符合我的需求. 昨天补充了一条是 自身转向代码,今天补充另外一条,是及时改变路向.我们发现原始插件改变路向,必须要等角色到达目标点才能再做改变,我们在ai中希望是,当目标点改变,角色在半道就要改变新方向. 好了,解决该问题的方法很简单,只需要如下方法 public void OnStopFind() { m_bNavRequestCompleted = true; }

MyBitis(iBitis)系列随笔之五:多表(一对多关联查询)

MyBitis(iBitis)系列随笔之一:MyBitis入门实例 MyBitis(iBitis)系列随笔之二:类型别名(typeAliases)与表-对象映射(ORM) MyBitis(iBitis)系列随笔之三:简单实现CRUD MyBitis(iBitis)系列随笔之四:多表(多对一查询操作) MyBitis(iBitis)系列随笔之五:多表(一对多关联查询) MyBitis(iBitis)系列随笔之六:mybitis与spring集成 这篇博文介绍的是多表中的一对多表关联查询还是按照上一

526份行业报告+白皮书:AI人工智能、机器人、智能出行、智能家居、物联网、VR/AR、 区块链等(附下载)

随着现有技术的成熟,不可预见的发展会更快地到来,而创新则从消费者应用到商业(反之亦然),我们必须不断地寻找那些有潜力为我们自己的业务和我们的客户增值的人. 在未来30年里,超级智能一定会诞生.届时,所有的物都将相互连接,超级智能走进云端,并走进自动驾驶.健康医疗.客户服务.工业等等领域.人们的生活,将发生巨大的改变.墙裂推荐一读. 与 2017 年类似,2018 年的 CES 依然是人工智能.物联网.自动驾驶汽车.AR/VR 和健康设备等热门产品的舞台. 我们分享各个行业526份关于AI人工智能

AI人工智能时代即将来临,是什么要先行一步?

在2018年"全连接大会"上,最触动人心的一刻,无疑是万物互联未来畅想:而作为万物互联的核心便是"人",而万物互联的所要发挥的极致作用也就是充分解放"人"的机械属性,而充分发挥人的不可替代的创造性价值.无论是算法.算力还是模型训练,自动化功能及应用,自动更新与人才稀缺等十大改变中的任一一项改变都基于一个基础--协同. 协同并不是同样.统一的重复,而是犹如一个新产品的整体生命周期,不同的人的角色不同,参与新产品的生命周期的节点也不同,但都是始于同一

百度AI人工智能产品体验不好?今日头条进军AI人工智能领域?

关于AI智能生活问题? Python语言是人工智能要用的.还有就是C+和JAVA等一些语言,算法我个人觉得应该是重点.这相当是人的大脑. 2018年12月23号,这一天传来一个非常不好的消息.也就是25号圣诞节那一天,公司发布公告:这一天每个人都要上班,领导来检查.我就想知道那个领导非得圣诞节来啊!好吧认了,毕竟给人打工得遵守别人定的规则. ** AI人工智能广泛性** 回到原题,现在非常多AI智能家具,电器,数码.也有很多盆友已经被深深吸引了!如今"人工智能"已经普遍走进中国大学校园

从大数据技术变迁猜一猜AI人工智能的发展

目前大数据已经成为了各家互联网公司的核心资产和竞争力了,其实不仅是互联网公司,包括传统企业也拥有大量的数据,也想把这些数据发挥出作用.在这种环境下,大数据技术的重要性和火爆程度相信没有人去怀疑. 而AI人工智能又是基于大数据技术基础上发展起来的,大数据技术已经很清晰了,但是AI目前还未成熟啊,所以本文就天马行空一下,从大数据的技术变迁历史中来找出一些端倪,猜一猜AI人工智能未来的发展. 最近断断续续的在看<极客时间>中「 从0开始学大数据 」专栏的文章,受益匪浅,学到了很多.尤其是非常喜欢作者