arXiv · Artificial Intelligence· Roshan Reddy Upendra, Alexandre Dorais, Joe Meyer, Andrew Pouret, Anastasios Lambrianos Stappas, Dinesh Katupputhur Ramprasath, Viswanath Ganapathy, Tom Palczewski, Minghua Li·· 7 小时前AI 评分40
关系型基础模型在上下文学习中的支持集目标泄露:模型依赖性与评估可靠性
Support-Set Target Leakage in Relational Foundation Models during In-Context Learning: Model Dependence and Evaluation Reliability
AI 导读
研究揭示关系型 ICL 中支持集目标泄露导致评估偏差,构建 20 个目标衍生特征并在 13 个 RelBench 任务与 5 种 ICL 配置上评估。0-hop 与 Full 泄露造成最大偏差,高阶泄露效应较弱;泄露效应高度依赖任务与模型,甚至可反转模型变体间的相对结论。
来源:arXiv · Artificial Intelligence · arxiv.org