chinese multiple class classification using BERT

Steps:

  1. git clone https://github.com/google-research/bert
  2. prepare data, download pre-trained models
  3. modify code in run_classifier.py

    1. add a new processor

      ?
      ?

    2. add the processor in main function

      ?
      ?

?
?

Train and predict

  1. train

    python run_classifier.py

    --task_name=multiclass

    --do_train=true

    --do_eval=true

    --data_dir=/home/wxl/bertProject/bertTextClassification/data

    --vocab_file=/home/wxl/bertProject/chinese_L-12_H-768_A-12/vocab.txt

    --bert_config_file=/home/wxl/bertProject/chinese_L-12_H-768_A-12/bert_config.json

    --init_checkpoint=/home/wxl/bertProject/chinese_L-12_H-768_A-12/bert_model.ckpt

    --max_seq_length=128

    --train_batch_size=16

    --learning_rate=2e-5

    --num_train_epochs=100.0

    --output_dir=/home/wxl/bertProject/bertTextClassification/outputThree/

    ?
    ?

    you would get the following result if success:

    ?
    ?

    ?
    ?

    ?
    ?

  2. predict

    python run_classifier.py

    --task_name=multiclass

    --do_predict=true

    --data_dir=/home/wxl/bertProject/bertTextClassification/data

    --vocab_file=/home/wxl/bertProject/chinese_L-12_H-768_A-12/vocab.txt

    --bert_config_file=/home/wxl/bertProject/chinese_L-12_H-768_A-12/bert_config.json

    --init_checkpoint=/home/wxl/bertProject/bertTextClassification/outputThreeV1

    --max_seq_length=128

    --output_dir=/home/wxl/bertProject/bertTextClassification/mulitiPredictThreeV1/

    ?
    ?

?
?

原文地址:https://www.cnblogs.com/wuxiangli/p/10432160.html

时间: 2024-10-09 22:02:49

chinese multiple class classification using BERT的相关文章

空间谱专题10:MUSIC算法

作者:桂. 时间:2017-09-20  07:43:12 链接:http://www.cnblogs.com/xingshansi/p/7553746.html 未完待续… 前言 MUSIC(Multiple Signal Classification)算法通常用来进行到达角(DOA,Direction of arrival)估计. 一.MUSIC原理简介 根据前文的分析,模型依然建立在窄带信号的基础上: X为接收阵元,F为入射信号,a为对应的导向矢量,W为噪声.可直接记作矩阵形式 通常借助相

DOA词汇小记

[4] multiple signal classification(MUSIC):多信号分级 unbiased estimate:无偏估计 incident wavefront:入射波波前 incident signal:入射波 cross correlation:互相关 array element:阵元 antenna array:天线阵 directional waveforms:定向波形 polarization:极化?偏振 azimuth-only direction finding

论文学习-sparse methods for direction of arrival estimation1.

翻译自Sparse Methods for Direction-of-Arrival Estimation(Zai Yang∗†, Jian Li‡, Petre Stoica§, and Lihua Xie†) direction of arrival(DOA) 1.引言 DOA(direction of arrival)estimation指接收一些电磁波的方向信息的过程,这些电磁波来自许多形成阵列传感器的接收雷达的输出. 传统的波束形成器(beamformer)仅仅使用了对空间采样数据的傅

毫米波大规模阵列中的AOA估计

1.AOA估计在毫米波大规模MIMO中的重要性 在毫米波大规模MIMO的CSI估计中,AoA估计具有重要地位,主要原因归纳如下: 毫米波大规模MIMO 的信道具有空域稀疏性,可以简单通过AoA 和路径增益将其准确建模.这类似于波束域MIMO 的几何信道模型.基于该信道模型,CSI 估计可以先获取角度信息,然后通过最小二乘(Least Square, LS)逼近求解 路径增益.相比之下,传统MIMO 的散射信道模型不但不能准确反映毫米波大规模MIMO信道的稀疏特性,反而会增加信道建模的复杂性,这是

《How to Fine-Tune BERT for Text Classification》-阅读心得

文章名<How to Fine-Tune BERT for Text Classification>,2019,复旦大学 如何在文本分类中微调BERT模型? 摘要:预训练语言模型已经被证明在学习通用语言表示方面有显著效果,作为一种最先进的预训练语言模型,BERT在多项理解任务中取得了惊人的成果.在本文中,作者针对文本分类任务的BERT微调方法,给出了微调模式的一般解决方案.最后,提出的解决方案在8个广泛研究的文本分类数据集上获取了最新的结果. 作者认为尽管BERT在多项自热语言理解任务中获得了

BERT论文翻译:用于语言理解的深度双向Transformer的预训练

Jacob Devlin Ming-Wei Chang Kenton Lee kristina Toutanova Google AI Language {jacobdevlin, mingweichang, kentonl, kristout}@google.com 摘要 本文介绍了一种新的语言表示模型BERT,意为“来自transformer的双向编码器表示”(Bidirectional Encoder Representations from Transformers).与最近的语言表示模

多示例学习 multiple instance learning (MIL)

多示例学习:包(bags) 和 示例 (instance). 包是由多个示例组成的,举个例子,在图像分类中,一张图片就是一个包,图片分割出的patches就是示例.在多示例学习中,包带有类别标签而示例不带类别标签,最终的目的是给出对新的包的类别预测. 多示例学习是弱监督学习中的一个popular的方法.用于训练分类器的instance是没有类别标记的,但是bags却是有类别标记的,这一点与以往所有框架均不甚相同. 多示例学习中的规则:如果一个bag 里面存在至少一个instance被分类器判定标

HITOJ 2739 The Chinese Postman Problem(欧拉回路+最小费用流)

The Chinese Postman Problem My Tags   (Edit)   Source : bin3   Time limit : 1 sec   Memory limit : 64 M Submitted : 503, Accepted : 172 A Chinese postman is assigned to a small town in China to deliver letters. In this town, each street is oriented a

neural network for Malware Classification(Reprinted)

catalogue 0. 引言 1. Byte-sequence N-grams 2. Opcodes N-grams 3. API and Functions calls 4. Use of registers 5. Call Graphs 6. Malware as an Image 7. Detection of malware using dynamic behavior and Windows audit logs 8. 其他方法: Novel Feature Extraction,