arXiv · Machine Learning Theory· Sourabh Kasliwal, Shubhranshu Singh·· 3 小时前AI 评分27
基于 LLM 知识蒸馏的多标签主题分配：生成式与判别式学生模型的对比分析
Multi-Label Topic Assignment via LLM Distillation: A Comparative Analysis of Generative vs. Discriminative Student Models
AI 导读
研究在 1B、4B、8B 参数规模下对比生成式与判别式（DeBERTa-V3、ModernBERT）学生模型，发现判别式在结构化商品评论上优于超轻量生成式，但 1B 生成式模型在多轮对话数据上反超。生成式模型在 112 个主题的大规模标签扩展与长尾分布下保持稳健，判别式基线 Macro-F1 下降 35%。优化模型已在商品评论与对话场景完成生产部署，满足严格延迟要求。
来源：arXiv · Machine Learning Theory · arxiv.org