arXiv · Machine Learning Theory· Yixin Tan, Jiayang Liu, Lu Sun, Yuke Hu, Zheng Li, Rui Wen·· 4 hr agoAI score44
MoE 路由遥测如何泄露成员信息：微调数据的隐私泄漏
When Routing Reveals Membership: Privacy Leakage from MoE Router Telemetry
AI brief
论文提出一种路由增强的成员推断攻击，结合传统输出侧信号与聚合路由特征，并用独立微调的影子模型训练成员分类器。在三种 MoE 架构和三个数据域的九项设置中，路由遥测在 1% FPR 下将 TPR 提升 2.7–9.4 个百分点。该泄漏在全量微调、冻结路由训练、LoRA 和指令微调下均存在，即使只有离散专家选择、受限遥测或单个影子模型也可观测。
Source: arXiv · Machine Learning Theory · arxiv.org