跳到正文
原文
arXiv · Computer Vision· Arefeh Rezaei·· 3 小时前AI 评分20

GPEC:预 LLM 高斯过程嵌入校正提升心脏超声视频描述生成

GPEC: Efficient Pre-LLM Gaussian Process Embedding Correction for Cardiac Video Caption Generation

AI 导读

GPEC 是一种模块化、计算高效的前 LLM 误差校正方法,插入 VideoChat2 的视觉投影层与语言模型之间,通过稀疏变分高斯过程学习残差校正,将视觉表示向标注引导目标对齐。实验在相同输入和参考条件下对比 VideoChat2 与 VideoChat2 + GPEC,显示描述相似度和内容对齐度提升,且每视频推理开销低于 0.05 秒,无需端到端微调预训练多模态骨干。

来源:arXiv · Computer Vision · arxiv.org