自然语言处理技术发展

被引：21
|
作者：
王海宁 [1 ]
机构：
[1] 英特尔(中国)有限公司
来源：
中兴通讯技术 | 2022年 / 02期
关键词：
自然语言处理; 预训练语言模型; Transformer; GPT; BERT; XLNet; 模型优化;
D O I：
暂无
中图分类号：
TP391.1 [文字信息处理];
学科分类号：
081203 ; 0835 ;
摘要：
基于神经网络和深度学习的预训练语言模型为自然语言处理技术带来了突破性发展。基于自注意力机制的Transformer模型是预训练语言模型的基础。GPT、BERT、XLNet等大规模预训练语言模型均基于Transformer模型进行堆叠和优化。认为目前依赖强大算力和海量数据的大规模预训练语言模型存在实用问题，指出轻量预训练语言模型是未来重要的发展方向。
引用
收藏
页码：59 / 64
页数：6
相关论文
共 6 条
  • [1] 莱布尼茨语言哲学的理性主义实质及其历史地位研究
    段德智
    [J]. 新闻与传播评论, 2013, 66 (05) : 54 - 63
  • [2] BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension.[J] . Mike Lewis,Yinhan Liu,Naman Goyal,Marjan Ghazvininejad,Abdelrahman Mohamed,Omer Levy,Veselin Stoyanov,Luke Zettlemoyer. CoRR . 2019
  • [3] A Neural Probabilistic Language Model.[J] . Yoshua Bengio,Réjean Ducharme,Pascal Vincent,Christian Janvin. Journal of Machine Learning Research . 2003
  • [4] Language models are unsupervised multitask learners .2 RADFORD A,JEFFREY W,CHILD R,et al. https://cdn.openai.com/better-language-models/languagemodelsareunsupervisedmultitasklearners.pdf . 2022
  • [5] BERT:pre-training of deep bidirectional transformers for language understanding .2 DEVLIN J,CHANG M W,LEE K,et al. https://aclanthology.org/N19-1423.pdf . 2022
  • [6] XLNet:generalized autoregressive pretraining for language understanding .2 YANG Z L,DAI Z H,YANG Y M,et al. https://arxiv.org/abs/1906.08237 . 2022
1