第一人称视频嵌入与惯性传感器融合的人体活动识别研究

2026年10月12日，arXiv（Computer Vision，一手）发表研究，分析第一人称视频中 VideoMAEv2、CLIP、DINOv2 与 VC-1 嵌入所编码的内容。研究发现，这些嵌入的主成分主要由相机朝向与场景布局解释，而肢体惯性信号负责区分不同人的活动。在 WEAR 数据集上，研究者去除时间顺序，并按每秒片段取一个随机肢体，将惯性预测沿去除主成分的参与者内视频图传播，主体交叉验证 macro-F1 从 0.648 提升至 0.852；相比之下，单分类器融合或在图中加入惯性边效果更差。

Generated from reports · updated 2 hr ago

There is not enough continuous observation data to draw a trend yet.