将迁移学习用于文本分类 《 Universal Language Model Fine-tuning for Text Classification》

将迁移学习用于文本分类 《 Universal Language Model Fine-tuning for Text Classification》

2018-07-27 20:07:43 ttv56 阅读数 4552更多

分类专栏： 自然语言处理

版权声明：本文为博主原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/u014475479/article/details/81253506

本文发表于自然语言处理领域顶级会议 ACL 2018 
原文链接 
特别说明：笔记掺杂了本人大量的个人理解，以及口语化的语言，由于本人水平有限，极有可能曲解原文的意思，各位看官随意看看，切莫当真~

摘要

迁移学习在图像领域大放异彩，可是在NLP领域却用途寥寥，这是因为现有的NLP模型都与迁移学习不兼容，每次更新任务都需要重头开始训练模型，否则就会导致模型习得的语言特征灾难性地丢失。本文深知迁移学习才是NLP研究的新方向，故本文提出了一个新型的可以用于所有NLP任务的“超级模型”——ULMFiT ！！！！！！！ 经过严密实验，本文提出的ULMFiT模型吊打一切现有NLP分类模型，牛得一批！！！！！

模型介绍

假设我们有源任务TsTs，我们想把它迁移到任意一个目标任务TtTt上去，并且我们希望这种迁移效果尽可能的要好，最好我们只要针对源任务TsTs训练一次模型，然后一辈子就靠这个模型打天下，它能适用于全世界所有NLP任务，人们就一劳永逸啦，哈哈哈哈！

有了上述的宏伟理想，我们就要开始朝它努力了啊！ 
所以我们的模型必须要考虑到NLP任务的方方面面，这样才能打遍天下无敌手，所谓的“长文本语义依赖问题”，“各种粒度的语义分析”啊等等问题，都得考虑到，都是小菜一碟！

我们的模型分为两部分，其一就是一个语言模型。该模型是在一个大型的通用语料库上训练的，因为我们致力于做出一个通用的模型，所以我们的语料库大到你无法想象，反正就是超级大就对了，能够胜任NLP的所有任务！ 等该模型训练好之后，我们再对其进行微调就可以让其去解决不同的特定领域的问题啦！哈哈哈！！

说了那么多，我们的模型是啥呢？ 没错！当然是目前最先进的AWD-LSTM模型啦！（什么？不知道这模型是啥？百度啊？还指望我解释？！吔屎啦你！）

用通用的大到你无法想象的语料库训练完最先进的AWD-LSTM模型之后，我们接下来该做啥呢？没错！就是对该通用模型进行微调，然后让其适应于特定任务！那么该怎么微调呢？ 我们有两个独门秘笈：

  1. Discriminative fine-tuning（为了让秘笈看上去更神秘就不翻译了）

    具体而言, 就是为我们的模型的每一层分配不同的学习率, 参数更新时, 各层按照各自的学习率进行更新. 此处作者提出了一个技巧, 先通过只调整最后一层的参数确定一个合适的学习率, 然后往前的每一层都使用后一层学习率的2.6分之一倍. 
    （我也不知道为啥这么做效果会变好，原文也没说，看来独门秘笈果然是高深莫测我也不知道为啥这么做效果会变好，原文也没说，看来独门秘笈果然是高深莫测)

  2. Slanted triangular learning rates（不翻译，理由同上）

    具体而言，是一种新型的学习率更新方式，由于采用该方式学习率的变化图形会像一个“三角形”一样，所以该秘笈的名字里也带了“triangular”。如图所示： 

    其中横轴是模型的迭代次数，纵轴是学习率。具体公式如下： 
     
    其中TT是模型的迭代次数 
    cut_frac=学习率增长的迭代次数迭代的总次数cut_frac=学习率增长的迭代次数迭代的总次数（上图中为2001600=0.1252001600=0.125） 
    cutcut是学习率增长和下降的分界点（上图中为200） 
    ratioratio为学习率最大值和最小值的差值 
    ηmaxηmax为学习率的最大值 
    ηtηt为模型迭代到第t次时的学习率

    (注：这些公式的数值是我根据上图方便读者理解从图中用肉眼读出来的，与原文实验无关)。

使用独门秘笈调整完咱们的通用模型之后是不是就万事大吉了呢？当然没有这么简单，要知道，本文的模型，牛逼到你无法想象！

我们接下来要将通用模型应用到特定的分类任务上，那么我们还得针对特定任务对模型增加两个全连接层，这俩全连接层都进行了normalization和dropout，激活函数采用Relu。最后再将这俩层接一个softmax的输出层，输出各个类别的概率就OK啦！

最后注意！ 咱们的整个流程中，只有最后的俩全连接层和输出层的参数是从零开始学习的！

还有一个问题，咱们的牛逼模型（AWD-LSTM）与最后俩全连接层咋连接呢？

考虑到文本分类问题中，每个句子内真正对分类有帮助的词语只有极少部分，所以我们必须充分的提取文本的信息才能达到比较好的效果，所以我们将牛逼模型（AWD-LSTM）的隐含层最终状态的输出hThT作为我们全连接层的输入，这样就够了吗？

当然不够！

小小的hThT当然不能充分提取出句子的所有信息，我们要对其进行充分的提取，所以我们将其进行各种pool操作，max_pool，mean_pool，一起上！怎么凶猛怎么操作！直到把GPU的显存全部塞满为止！最后将这些pool操作提取的向量和hThT一起给concat起来，就得到了我们全连接层的输入：

hc=[hT,maxpool(H),meanpool(H)]hc=[hT,maxpool(H),meanpool(H)]

对最后全连接层的调参将极大的影响到我们的最终效果

因为如果调参过于狂野的话, 会导致我们牛逼模型（AWD-LSTM）习得的特征被灾难性地遗忘, 相当于前功尽弃。而如果我们过于调参过于细致的话, 算法的收敛速度又会大幅下降。这可咋办呢？别慌！我们还有秘笈！

Gradual unfreezing（不翻译，理由同上） 
具体而言, 就是开始调参的时候，将除最后一层以外所有层的参数都给冻结 (就是设置参数不可更新), 然后再一步步向前一层解冻.

原文地址：https://www.cnblogs.com/think90/p/11635798.html

时间： 2024-08-26 17:12:40

将迁移学习用于文本分类 《 Universal Language Model Fine-tuning for Text Classification》的相关文章

深度学习用于文本分类的论文及代码集锦

深度学习用于文本分类的论文及代码集锦 原创: FrankLearningMachine 机器学习blog 4天前 [1] Convolutional Neural Networks for Sentence Classification Yoon Kim New York University EMNLP 2014 http://www.aclweb.org/anthology/D14-1181 这篇文章主要利用CNN基于预训练好的词向量中对句子进行分类.作者发现利用微调来学习任务相关的词向量可

用于文本分类的RNN-Attention网络

用于文本分类的RNN-Attention网络 https://blog.csdn.net/thriving_fcl/article/details/73381217 Attention机制在NLP上最早是被用于seq2seq的翻译类任务中,如Neural Machine Translation by Jointly Learning to Align and Translate这篇文章所说. 之后在文本分类的任务中也用上Attention机制,这篇博客主要介绍Attention机制在文本分类任务

针对深度学习的文本分类模型盘点

1.textCNN 优势:短文本分类 可参照:https://www.cnblogs.com/AntonioSu/p/11969386.html 2.fast Text 优点:训练速度快 3.HAN(Hierarchical Attention Network) 优点:对文档的分类 双向的LSTM,可以获得丰富的词汇表示 attention阶段:词在句子中的重要程度 4.Transformer 可参考:https://www.cnblogs.com/AntonioSu/p/12019534.ht

用深度学习（CNN RNN Attention）解决大规模文本分类问题 - 综述和实践

转自https://zhuanlan.zhihu.com/p/25928551 近来在同时做一个应用深度学习解决淘宝商品的类目预测问题的项目,恰好硕士毕业时论文题目便是文本分类问题,趁此机会总结下文本分类领域特别是应用深度学习解决文本分类的相关的思路.做法和部分实践的经验. 业务问题描述: 淘宝商品的一个典型的例子见下图,图中商品的标题是"夏装雪纺条纹短袖t恤女春半袖衣服夏天中长款大码胖mm显瘦上衣夏".淘宝网后台是通过树形的多层的类目体系管理商品的,覆盖叶子类目数量达上万个,商品量也

fastText一个库用于词表示的高效学习和句子分类

fastText fastText 是 Facebook 开发的一个用于高效学习单词呈现以及语句分类的开源库. 要求 fastText 使用 C++11 特性,因此需要一个对 C++11 支持良好的编译器,可以使用: (gcc-4.6.3 或者更新版本) 或者 (clang-3.3 或者更新版本) 我们使用 Makefile 进行编译,因此需要 make 工具.为了运行单词相似度演示脚本,我们需要如下工具: python 2.6 or newer numpy & scipy 构建 fastTex

文本分类：survey

作者:尘心链接:https://zhuanlan.zhihu.com/p/76003775 简述 文本分类在文本处理中是很重要的一个模块,它的应用也非常广泛,比如:垃圾过滤,新闻分类,词性标注等等.它和其他的分类没有本质的区别,核心方法为首先提取分类数据的特征,然后选择最优的匹配,从而分类.但是文本也有自己的特点,根据文本的特点,文本分类的一般流程为:1.预处理:2.文本表示及特征选择:3.构造分类器:4.分类. 通常来讲,文本分类任务是指在给定的分类体系中,将文本指定分到某个或某几个类别中.被

LingPipe-TextClassification(文本分类)

What is Text Classification? Text classification typically involves assigning a document to a category by automated or human means. LingPipe provides a classification facility that takes examples of text classifications--typically generated by a huma

机器学习经典算法详解及Python实现---朴素贝叶斯分类及其在文本分类、垃圾邮件检测中的应用

摘要: 朴素贝叶斯分类是贝叶斯分类器的一种,贝叶斯分类算法是统计学的一种分类方法,利用概率统计知识进行分类,其分类原理就是利用贝叶斯公式根据某对象的先验概率计算出其后验概率(即该对象属于某一类的概率),然后选择具有最大后验概率的类作为该对象所属的类.总的来说:当样本特征个数较多或者特征之间相关性较大时,朴素贝叶斯分类效率比不上决策树模型:当各特征相关性较小时,朴素贝叶斯分类性能最为良好.另外朴素贝叶斯的计算过程类条件概率等计算彼此是独立的,因此特别适于分布式计算.本文详述了朴素贝叶斯分类的统计学

文本分类实战（五）—— Bi-LSTM + Attention模型

1 大纲概述 文本分类这个系列将会有十篇左右,包括基于word2vec预训练的文本分类,与及基于最新的预训练模型(ELMo,BERT等)的文本分类.总共有以下系列: word2vec预训练词向量 textCNN 模型 charCNN 模型 Bi-LSTM 模型 Bi-LSTM + Attention 模型 RCNN 模型 Adversarial LSTM 模型 Transformer 模型 ELMo 预训练模型 BERT 预训练模型 所有代码均在textClassifier仓库中,觉得有帮助,请