arXiv · Information Retrieval· Ying Yuan, Yu Wang, Yize Cheng, Xuyang Wu·· 7 小时前AI 评分58
RAISE:诊断高成本 LLM 信号中的获取崩溃
RAISE: Diagnosing Acquisition Collapse in Costly LLM Signals
AI 导读
论文提出 RAISE(Reward-SNR Actionability in Signal Evaluation)框架,用于在部署路由策略前诊断 LLM 信号是否具备可选择性使用的价值。作者用结构化假设嵌入(SHE)作为意图信号,在受控、回溯、新队列和前瞻性离线试点中评估,发现可预测的增量收益而非平均提升能区分是否存在可恢复的选择价值。看似强的 oracle 或子群收益在独立评估下可能消失。
来源:arXiv · Information Retrieval · arxiv.org