arXiv · Artificial Intelligence· Tate Berenbaum (Not Community Labs Inc.), Matias Parij (Not Community Labs Inc.), Muthaiah Venkatachalam (Intel Corporation)·· 3 小时前AI 评分33
Cascadia:在十一台 AI PC 上驻留运行 975B MoE 模型 Inkling
Cascadia: Resident 975B MoE Inference on Eleven AI PCs
AI 导读
Cascadia 在十一台 Intel Core Ultra X7 358H AI PC(每台 64 GB 内存)上驻留运行 Inkling(975B 总参数 / 41B 激活参数)MoE 模型,自研引擎保留路由规则并协调 FP16 专家计算与 FP32 输出恢复。
来源:arXiv · Artificial Intelligence · arxiv.org