arXiv · Information Retrieval· Hyojung Han·· 3 小时前AI 评分38
商用意图检索在尺寸、延迟与隐私约束下的端侧实现:3 MiB 检索系统与类型化出口边界
On-Device Commercial Intent Retrieval Under Size, Latency, and Privacy Constraints: A 3 MiB Retrieval System with Typed Egress Boundaries
AI 导读
研究在 3 MiB 下载负载、p95 低于 20 ms Tier-0 推理且无原始文本离开设备的约束下,构建基于 6,020 叶商业分类树的检索路径。静态嵌入表由韩语句子Transformer 蒸馏并量化至 4 位,无推理运行时。
来源:arXiv · Information Retrieval · arxiv.org