《Deepening Hidden Representations from Pre-trained Language Models for Natural Language Understanding》-阅读心得

文章名《Deepening Hidden Representations from Pre-trained Language Models for Natural Language Understanding》,2019,单位:上海交大

从预训练语言模型中深化语言表示

摘要:基于Transformer的预训练语言模型已经被证明在语境化语言表征方面是有效的,然而,当前的方法在下游任务的微调过程中都仅仅是利用编码器的最后一层输出信息。那么,只是单纯的利用单一层的输出会限制预训练表征的能力,因此,我们通过在显式隐式表示提取器(HIRE)中融合隐式表示来加深模型所学习的表示,可以自动的吸收最后一层输出进行互补表示,利用RoBERTa作为骨干编码器,提出了预训练语言模型的改进方案。

本方法中包括两个主要的额外组件:1.隐含表征提取器可以动态地学习完整的表征信息,然而最后一层无法有效捕获,所以在编码器旁边放置两层双向GRU,将每一层的输出汇总成一个向量,用于计算贡献分数。2.融合层通过两个不同的功能步骤将HIRE提取的隐藏信息与Transformer最终层的输出进行集成,从而形成一种精细的语境化语言表示。

Hidden Representation Extractor:用于提取Transformer编码器的额外信息,收集到的特征再和编码器的输出结合能够达到信息互补的作用,作者称之为:complementary representation。如下图所示,输出特征A:

Fusion Layer:融合Transformer编码器和Hidden提取器的特征。对于基础Transformer输出的特征R不是直接结合特征A进入到任务输出层,而是通过特征之间的互补产生特征M:

分别拼接这4个特征,后面两个分别是对应元素上的求和、求点积,每个维度为n*d,拼接起来为n*4d

最后对特征M再接一个双向GRU,相当于再来一次特征融合,增加了特征的存储能力:

作者认为:F才是理想的输入文本的精确通用表示

Output layer:是明确任务输出层,可以根据不同的任务设置。就拿分类任务来说,将F的第一排特征提取出来作为C,再加非线性,输出和类别对应,用如下公式:

对Q映射到类别上,得到一个概率分别预测类别:

实验结果

这篇文章是在结构上的优化,通过提高网络的复杂度获取,深化特征提取。如果网络真有那么复杂,运算性能会受到很大影响。

原文地址:https://www.cnblogs.com/demo-deng/p/12271477.html

时间: 2024-10-31 07:40:21

《Deepening Hidden Representations from Pre-trained Language Models for Natural Language Understanding》-阅读心得的相关文章

IT小小鸟阅读笔记

人生就像是一艘漂泊的船,你努力滑行了就会找到成功的彼岸,否则就漂泊一生.在这个物欲横流的时代有太多的诱惑使我们静不下心来,但是我们应该时时刻刻警醒自己要做一些对自己成长有意义的事,程序员虽然幸苦但是作为谋生手段来说是比较好的,毕竟工资不是开玩笑的,做到好还可以别旅游别工作,不用固定在一个场所工作.梦开始的方向就是大学毕业的时候,这句话是对好好学习的人来说,对于不学无术的来说是迷茫开始的时候,当然我觉得计算机学的好很重要,情商的培养也非常重要,不然大家都一致认为程序员是呆板的无趣的人,在网络公司的

《我是一只IT小小鸟》心得

虽然读这本书是老师布置的作业,但是读了几页后就被书中的内容所吸引住了.或许是因为我也是学这个专业的,所以书中的一些内容让我觉得非常的有兴趣.作为一个学习软件工程的大一学生还没真正的认识到这个专业的深奥,正是通过这本书的阅读让我这个一无所知的年轻人懂得这个行业.这本书不仅仅让我懂得了这些,而且让我学习这个专业更加的感兴趣,更是get到了学习和生活上的一些“新技能”. 想要学好这个专业不仅仅平时要认真学习,生活中还要随时抽空打打代码打好基础. 真正基础雄厚的人应该是可以将常用的基础性知识熟记成诵的人

《IT小小鸟》的阅读心得

新年过后我们迎来大一下学期,想想刚迈入大学的我们,充满着好奇与兴奋,仿佛就在昨天.时光飞逝而今,虽经过一学期的学习,仍对计算机专业充满困惑,对未来充满迷茫. 在我感到迷茫的时候,老师给我们介绍了这样的一本书<我是一只IT小小鸟>,起初在课堂上,我以为这本书应该也只是描写一些于IT相关的知识而已,于是乎只是仅仅像对待完成作业那样抽空百度了关于这本书的信息.然而却有些欣喜地发现<我是一只IT小小鸟>竟然是一本关于IT生涯的励志书籍.这本书是由很多不同作者不同篇幅组成的,他们基本都有不同

阅读《我是一只IT小小鸟有感》

 大学是一段人生的特殊旅程,时间总是在我们的不经意间悄悄的流逝,一转眼 所为的四年大学已经过了8分之1, 这还有多少个8分之1可以用来浪费. 而在这8分之1的大学生活里,我已经学到了什么? 又收获了什么,又浪费了多少的青春.我总是这样问着自己,可是每天都是不一样的答案.我喜欢代码,喜欢手敲击在键盘上的感觉,喜欢钻研同学问我的代码问题,哪怕我想到头不断的作痛也无所谓,我的朋友说我偏执,我无所谓,我觉得认真对待我喜欢的,再偏执又如何. 这些天在看这本<我是一只IT小小鸟>,书中学长学姐的经历,才让

《我是一只IT小小鸟》阅读笔记

刚高考进入大学时, 总以为大学会像初中和高中一样,上了大学后才知道根本不一样.刚来大学时我很迷茫,因为上大学后的不适应以及对行业的不了解.直到有一天我们职业规划课老师推荐我们去看一本名叫<IT小小鸟>的书.其实一开始,我对这本书是一点兴趣都没有的,无非就是一些故事加上一些鼓励我们学习的话语而已,可是当我看过这本书时,我才意识带这并不是我想的那种无聊的书,而是真真正正可以使我受益匪浅的书. 正如书上所说.第一,我们要养成兴趣,你会发现几乎所有IT业的作者都对计算机技术或者IT行业有兴趣.学生都有

小小鸟 读后感

我是IT小小鸟 读后有感 阅读此书后的感觉和心得体会如下. 对于专业兴趣是第一原则 要尝试发现你的兴趣所在.特长所在,然后围绕这些来确定发展方向,不盲目从众和跟风. . 他山之石,可以攻玉,但不可照搬(借用书中). 因为环境不同,时代不同.更重要的是每个人都是独一无二的. 其他书中的作者大多出身"名门",有北大.清华.南大.华工等国内知名院校 而我的本科却是在一所普通大学,这是有差异的,想要不输于他人唯有默默积聚实力,最终突破环境的限制,登上一个新台阶 但是基础薄弱却又被外界所影响 颓

来吧,IT小小鸟(持续更新ing)

我是一只小小小小鸟,想要飞呀飞呀却飞不高啊....... 有人冷冷应对:你飞不高是因为学的不够 [中国目前还是启蒙时代,路子一不留神就错了.我更建议通过大量阅读,从科学中获得方法:技术与创业获得财富:大时间周期进行自我监控.自我反思与自我练习,获得竞争优势:参与志同道合的社区,与自我驱动的人共事,获得友情的路子. 未来时代,商业合作与个人发展,日益"阳谋".可以持续性地利用信息不对称牟利的机会越来越少:反之,可以持续性地利用智力不对称谋利的机会越来越多.当然,我所定义的智力,是神经智力

我是一只IT小小鸟读书笔记

春回大地.万物复苏,春天如期而至,而我内心的迷茫也从未消散.我害怕开学,开学意味着将漫无目的地学习自己本用不着的东西.但也在感慨时光似箭一去不返. 在大一这个懵懂的阶段中,许多大学生都不是很清楚自己将要面对的是什么,今后的方向,甚至现在该干些什么.一届又一届的学长学姐都告诫我们大一的新生不要虚度这四年的时光,青春太宝贵,千万别浪费.可我们又该做些什么呢?我们迷茫在学海中了.就当这时我们的职业生涯规划老师给迷茫中的我们推荐了一本名叫<我是一只IT小小鸟>的成长书籍.一开始我并不是太愿意去阅读这本

《我是一只IT小小鸟读后感》

在上大学之前,我对软件工程是一个什么专业根本了解不多,甚至有时感到很迷茫.在上完半学期之后还是对软件工程朦朦的,直至我读了<我是一只IT小小鸟>这本书,让我更深一步了解了IT行业. 让我体会很深的是以下几点: 一要有计划,并经常实践,二要多阅读有关专业的书籍,并常与他人交流经验,此外还有多做总结.三在面对困难时要独立解决,且冷静的.理智的分析原因.并能保持良好的心态去迎接新的挑战,这样才能走的更远.四要真正的并熟练的掌握基础知识.这样我们才有足够的墨水.五要时时关注新IT技术的更替,让我保持强

给个理由走下去——读《我是一只IT小小鸟》有感

和很多人一样,高考失利,迷迷茫茫的走进了软件学院.关于这个专业,具体学什么是一概不知,只知道学软件的很帅很帅,幻想着以后当个行侠仗义的黑客,或是开发一款自己的游戏都是十分诱惑人的.然而这个世界有个不成文的原则,理想很美满,现实很骨感,更可怕的是他们之间还成着正比例的关系. 我印象很深的就是第一节C课,学的是编译出一句“hello world”.没错,就是这个简单到不行的程序,可老师的节奏放的很慢很慢,让我们内心烦躁起来,我们要学更高端的东西,像这么简单看看书就会了.但是我很清楚的记得第二个程序我