生成式预训练模型

被引：6

作者：

张民 ^{[1
]}

李俊涛 ^{[1
]}

机构：

[1] 苏州大学计算机科学与技术学院

来源：

中国科学基金 | 2021年 / 35卷 / 03期

关键词：

GPT; 深度学习; 系列模型; 泛化能力; 文本数据; 预训练; 生成式;

D O I：

10.16262/j.cnki.1000-8217.2021.03.014

中图分类号：

TP18 [人工智能理论]; TP391.1 [文字信息处理];

学科分类号：

081104 ; 0812 ; 081203 ; 0835 ; 1405 ;

摘要：

具有写作和对话功能的大规模自然语言模型使人工智能朝着更好地理解人类的自然语言与人机交互这一目标迈出了坚实的一步。在众多语言模型中,OpenAI公司开发的GPT-3是目前为止参数最多、规模最大、能力最强的模型。通过利用大量的互联网文本数据和成千上万的书籍进行模型训练,GPT-3模型对人类自然语言的模仿到了一个不可思议的地步,极具真实性,也因此成为迄今为止令人印象最深刻的语言模型。

引用

页码：403 / 406

页数：4