BERT

特点

Bidirectional Encoder Representations from Transformers。Google 提出的双向编码器预训练模型，通过 Masked Language Model 和 Next Sentence Prediction 进行预训练，在多项 NLP 任务上取得突破。

参考资料

• BERT: Pre-training of Deep Bidirectional Transformers