arXiv · Computation and Language· Santhosh Kumar Kasa, Siva Rajesh Kasa, Sumit Negi·· 4 hr agoAI score37
相同文本、不同预测:文本分类器的服务上下文非确定性研究
Same Text, Different Prediction: Serving-Context Nondeterminism in Text Classifiers
AI brief
研究系统检验了批大小、批组成、硬件与推理引擎等服务上下文变化对文本分类的影响,在固定 checkpoint 与文本的前提下训练 180 个模型并覆盖四类服务场景。fp32 下仅改变批形状不改变标签,但 bf16 下预测概率质量最多移动 56.7 个百分点,标签变化集中在小边界处;全生成式分类器比判别式分类器改变更多标签。研究给出各类服务变化下标签稳定的充分条件与对应缓解措施。
Source: arXiv · Computation and Language · arxiv.org