arXiv · Computation and Language· Yiping Bai·· 4 小时前AI 评分21
Tiny-Scale Chinese BERT 预训练：MLM、WWM 与 MacBERT 策略的对照比较
Tiny-Scale Chinese BERT Pretraining: A Controlled Comparison of MLM, WWM, and MacBERT Strategies
AI 导读
该研究在 4 层、256 维、8.7M 参数的 tiny-scale Chinese BERT 上，用同一语料（1.29M 句中文 Wikipedia）和超参数对照 MLM、WWM 与 MacBERT 三种预训练策略。
来源：arXiv · Computation and Language · arxiv.org