Facebook开源挑战GPT-3的语言模型

OpenAI的文本生成神经网络GPT-3是目前最先进的语言模型之一，使用了1750亿个参数，但它至今没有开源，只通过其申请及审核程序提供给学术界和商业实体使用。现在Meta/Facebook开源了能挑战GPT-3的语言模型Open Pretrained Transformer（OPT-175B），使用了5个公开数据集的800 GB数据进行训练，使用了能比拟GPT-3的1750亿个参数。研究论文发表在预印本网站arXiv上。