arXiv · Computer Vision· Kansuke Habano·· 2 小时前AI 评分33
第一人称视频嵌入编码了什么,以及如何与惯性传感器结合用于人体活动识别
What Egocentric Video Embeddings Encode and How to Combine Them with Inertial Sensors for Human Activity Recognition
AI 导读
研究分析 VideoMAEv2、CLIP、DINOv2 与 VC-1 的第一人称视频嵌入,发现其主成分主要由相机朝向与场景布局解释,肢体惯性信号则负责区分不同人的活动。在 WEAR 数据集上,去除时间顺序并按每秒片段取一个随机肢体,将惯性预测沿去除主成分的参与者内视频图传播,主体交叉验证 macro-F1 从 0.648 提升至 0.852;单分类器融合或在图中加入惯性边效果更差。
来源:arXiv · Computer Vision · arxiv.org