面向文本分类的BERT-CNN模型

在深度学习中，Word2Vec、Glove和Fasttext等已成为在文本分类任务中获取词表示的主要方式，但其词向量都是静态表示的，无法充分提取语义信息。为了解决此问题，提高文本分类的精度，提出了BERT(bidirectional encoder representations from transformers)模型与卷积神经网络(convolutional neural networks, CNN)模型相结合的BERT-CNN模型。首先利用BERT中的自注意力机制获取词与词之间的语义关系，然后通过CNN提取文本特征，最后通过全连接层进行二分类。实验结果表明，在文本分类研究中，相比于Word2Vec-CNN和Glove-CNN,BERT-CNN在准确率上分别提升了10.07%和7.07%,效果有显著的提高。