arXiv · Machine Learning Theory· Soumyadeep Roy·· 5 hr agoSelectedAI score64
99% 准确率的隐藏成本：电信客户流失基准的可信度审计
The Hidden Costs of 99% Accuracy: A Trustworthiness Audit of the Telco Customer Churn Benchmark
AI brief
论文审计了 IBM Telco 客户流失基准（n=7,043），发现预拆分 SMOTE 使流失类 F1 虚高 13.1 个百分点，约 36% 合成训练点是测试集实例的最近邻插值；TotalCharges 与 tenure×MonthlyCharges 的 R²=0.999，移除后准确率变化不足 0.2 个百分点但 TreeSHAP 将其排在第九位，误导解释。
Why it matters
预训练数据泄露与冗余特征会系统性夸大基准表现，审计方法可迁移到其他表格数据基准。
Source: arXiv · Machine Learning Theory · arxiv.org