arXiv · Human-Computer Interaction· Santiago Posso-Murillo, Nathan Palladino, Ben Pyykkonen, Dan Y. Han, Luis G. Sanchez-Giraldo, Jihye Bae·· 3 小时前AI 评分16
使用 CLIP loss 基于 fNIRS 实现单个词语的语义重建
Towards semantic reconstruction of individual words from fnirs using clip loss
AI 导读
研究评估以 CLIP loss 替代 MSE,训练 Bi-LSTM 解码器将 fNIRS 信号映射到词嵌入空间,重建感知词语的语义。实验在三个共享范式下的 fNIRS 数据集上进行,分别以 GloVe-50 和 T5 词嵌入为目标,用 pairwise matching score 和 open-vocabulary top-$k$ retrieval 评测。
来源:arXiv · Human-Computer Interaction · arxiv.org