一群Google Brain和卡内基梅隆大学的研究人员本周推出了XLNet，这是一款能够在20个NLP任务中超越谷歌尖端BERT并在18项基准任务中取得最新成果的人工智能模型。BERT(来自Transform的双向编码器表示)是Google的语言表示模型，用于去年秋天首次引入的无监督预训练NLP模型。
XLNet在多个任务中实现了最先进的性能，包括七个GLUE语言理解任务，三个阅读理解任务(如SQuAD)和七个文本分类任务(包括Yelp和IMDB数据集的处理)。与BERT相比，使用XLNet进行文本分类后，错误率显着降低了16%。谷歌在2018年秋季开源BERT。
XLNet利用由六位作者组成的星期三发表的arXiv论文中详述的各种技术，利用用于无监督预训练的最佳自回归和自动编码方法。
“XLNet是一种广义的自回归预训练方法，它允许通过最大化因子化顺序的所有排列的预期可能性来学习双向上下文学习，并且由于其自回归公式而克服了BERT的局限性，”该论文写道。
该模型的名称源自Transformer-XL，这是一个由同一研究团队在1月份发布的自回归模型。XLNet采用Transformer-XL的预训练方法，用于分段重现机制和相关编码方案。该模型还借鉴了NADE，它是由谷歌DeepMind，Twitter和学术界的研究人员为其排列语言建模方法创建的。
XLNet是最新出现的NLP模型，其性能优于BERT。微软AI研究人员于5月份推出了多任务深度神经网络(MT-DNN)。该模型基于BERT，但在许多GLUE语言理解基准性能任务上实现了更好的性能。