NYU CILVR· Anugya Srivastava·· 2020-07-03AI 评分29
MiniBERTas：用不同量的预训练数据测试 RoBERTa 学到了什么
The MiniBERTas: Testing what RoBERTa learns with varying amounts of pretraining
AI 导读
MiniBERTas 是基于 RoBERTa 的模型系列，使用 1M、10M、100M、1B tokens 的 BERT 预训练数据集子集训练，通过 HuggingFace Transformers 或 jiant 可用。
来源：NYU CILVR · wp.nyu.edu