不同语言与分词器 fertility 下情感方向一致性的研究

研究测量了英语、豪萨语和约鲁巴语在四种语言模型中的情感方向分裂半一致性，使用原生与翻译文本。最终 token 的分裂半一致性英语为 0.737–0.870，豪萨语 0.589–0.762，约鲁巴语 0.101–0.399，分类器仍能高于随机预测情感。结果表明预测准确性不意味着方向一致性，且高一致性可能部分反映句子长度。