oklen

原创 学习日志

学习日志2020-7-9 2020-7-9 1、 阅读论文ELECTRA: PRE-TRAINING TEXT ENCODERS AS DISCRIMINATORS RATHER THAN GENERATORS。      这篇论文提出了一种更为有效利用语料的与训练方法replaced token detection，与BERT相比，把用[MASK]挡住一个词换成了随机将一些词替换成意思相近的词，让模型来判断那些词被替换了来进行训练，并使用了参数共享技术，大大提供了模