掩码语言建模

随机遮蔽输入序列中的部分单元并让模型还原，从而在无标注数据上学习上下文表征的自监督训练目标。