2020年中文NLP顶级预训练模块

对于BERT后时代,不得不说强有力的预训练模型是刷榜、出色完成任务的基础,现在列举几个对此很有帮助的资源,同大家一起进步!!!

一:互联网新闻情感分析复赛top8(8/2745)解决方案及总结; 地址:https://zhuanlan.zhihu.com/p/101554661

大佬的这篇知乎博客总结的非常好,打开了另一块天地,同学们可以深挖这里面的内容

二:CCF BDCI 2019 互联网新闻情感分析 复赛top1解决方案;地址:https://github.com/cxy229/BDCI2019-SENTIMENT-CLASSIFICATION

站在巨人的肩膀上,你将成长更快

三:哈工大的RoBERTa-wwm-ext-large; 地址:https://github.com/ymcui/Chinese-BERT-wwm

深入学习里面的东西

四:中文预训练RoBERTa模型;地址:https://github.com/brightmart/roberta_zh

也不错

少年们,加油吧!!!

原文地址:https://www.cnblogs.com/demo-deng/p/12342027.html

时间: 2024-11-10 03:32:42

2020年中文NLP顶级预训练模块的相关文章

预训练中Word2vec,ELMO,GPT与BERT对比

预训练 先在某个任务(训练集A或者B)进行预先训练,即先在这个任务(训练集A或者B)学习网络参数,然后存起来以备后用.当我们在面临第三个任务时,网络可以采取相同的结构,在较浅的几层,网络参数可以直接加载训练集A或者B训练好的参数,其他高层仍然随机初始化.底层参数有两种方式:frozen,即预训练的参数固定不变,fine-tuning,即根据现在的任务调整预训练的参数. 优势: 1.当前任务数据量少,难以训练更多的网络参数,可以加载预训练的模型,然后根据当前的任务对参数进行fine-tuning,

BERT论文翻译:用于语言理解的深度双向Transformer的预训练

Jacob Devlin Ming-Wei Chang Kenton Lee kristina Toutanova Google AI Language {jacobdevlin, mingweichang, kentonl, kristout}@google.com 摘要 本文介绍了一种新的语言表示模型BERT,意为“来自transformer的双向编码器表示”(Bidirectional Encoder Representations from Transformers).与最近的语言表示模

[转] 轻松使用多种预训练卷积网络抽取图像特征

选自GitHub,机器之心整理. 最近 GitHub 有一个非常有意思的项目,它可以使用多种预训练 TensorFLow 模型计算图像特征.对于每一个模型,它们都会输出最后的全连接层,即 AlexNet 的第七个全连接层.VGG_19 的第 8 个全连接层等.这些层级将最终抽取出图像的特征,并能进一步用于图像分类和聚类等.机器之心简要地介绍了该项目,并测试了使用Inception_V1预训练模型抽取图像特征. 项目地址:https://github.com/cameronfabbri/Compu

深度双向Transformer预训练【BERT第一作者分享】

目录 NLP中的预训练 语境表示 语境表示相关研究 存在的问题 BERT的解决方案 任务一:Masked LM 任务二:预测下一句 BERT 输入表示 模型结构--Transformer编码器 Transformer vs. LSTM 模型细节 在不同任务上进行微调 GLUE SQuAD 1.1 SQuAD 2.0 SWAG 分析 预训练的影响 方向与训练时间的影响 模型规模的影响 遮罩策略的影响 多语言BERT(机器翻译) 生成训练数据(机器阅读理解) 常见问题 结论 翻译自Jacob Dev

皮内的预检模块i-Cut Layout Essential & Preflight v14.0

i-Cut Layout Essential & Preflight v14.0 for MacOSX 2CD 皮内的预检模块  皮内的预检 对于Mac windowstrial试验  一个简单的PDF预检,预检带来PstI酶切和大幅面打印编辑解决方案.  皮内的准备是一个真正的工作流的起点.问题自动报告,在打印前.没有必要去Adobe?插画?和浪费时间试图找出为什么文件将不能正确打印.皮内的预检会告诉自动.  真正的形状与皮内的布局模块嵌套  皮内的布局至关重要  皮内的布局基本符合所有基本功

在 C/C++ 中使用 TensorFlow 预训练好的模型—— 直接调用 C++ 接口实现

现在的深度学习框架一般都是基于 Python 来实现,构建.训练.保存和调用模型都可以很容易地在 Python 下完成.但有时候,我们在实际应用这些模型的时候可能需要在其他编程语言下进行,本文将通过直接调用 TensorFlow 的 C/C++ 接口来导入 TensorFlow 预训练好的模型. 1.环境配置 点此查看 C/C++ 接口的编译 2. 导入预定义的图和训练好的参数值 // set up your input paths const string pathToGraph = "/ho

如何使用“预训练的词向量”,做文本分类

不多比比了,看代码!!! def train_W2V(w2vCorpus, size=100): w2vModel = Word2Vec(sentences=w2vCorpus, hs=0, negative=5, min_count=5, window=8, iter=1, size=size) w2vModel.save(inPath+'w2vModel.model') return w2vModel def load_W2V(W2V_path, loader_mySelf=1): if l

文本分类实战(一)—— word2vec预训练词向量

1 大纲概述 文本分类这个系列将会有十篇左右,包括基于word2vec预训练的文本分类,与及基于最新的预训练模型(ELMo,BERT等)的文本分类.总共有以下系列: word2vec预训练词向量 textCNN 模型 charCNN 模型 Bi-LSTM 模型 Bi-LSTM + Attention 模型 RCNN 模型 Adversarial LSTM 模型 Transformer 模型 ELMo 预训练模型 BERT 预训练模型 所有代码均在textClassifier仓库中, 觉得有帮助,

DeepFaceLab 模型预训练参数Pretrain的使用!

Pretrain参数是20190501版本才加入的参数,作者加入这个参数的目的应该是提升模型的训练速度和增强适应性.具体有哪些提升,需要大家去摸索,我这里分享一下自己的使用过程. ? 这个参数仅针对SAE模型,并且只有在第一次启动的时候可以配置,配置完之后,一旦中断训练之后,这个预训练环节就结束了. ? 上图为预训练的效果图,这个界面红红绿绿配上灰色,看起来还挺好看. ? 除了颜色上的差别之外,看起来和平时的训练并没有什么差别.但是根据作者的描述,以及我们自己的验证,有些模型文件在预训练阶段并不