跳到正文
原文
arXiv · Information Retrieval· Hyojung Han·· 3 小时前AI 评分38

商用意图检索在尺寸、延迟与隐私约束下的端侧实现:3 MiB 检索系统与类型化出口边界

On-Device Commercial Intent Retrieval Under Size, Latency, and Privacy Constraints: A 3 MiB Retrieval System with Typed Egress Boundaries

AI 导读

研究在 3 MiB 下载负载、p95 低于 20 ms Tier-0 推理且无原始文本离开设备的约束下,构建基于 6,020 叶商业分类树的检索路径。静态嵌入表由韩语句子Transformer 蒸馏并量化至 4 位,无推理运行时。

来源:arXiv · Information Retrieval · arxiv.org