跳到正文

#多模态

今日 12 条
今天9月30日周三
  1. arXiv · Computation and Language39

    FD-VAD:流式全双工语音的语义端点检测

    FD-VAD 是一种无需 ASR 的流式语义端点检测模型,将有界因果音频窗口直接映射为 Continue/Stop 决策,在 TurnBench dev 集上以零样本方式达到 EOT 召回率 0.853(FP<=0.10)。模型融合冻结语音编码器、轻量模态适配器与参数高效适配的语言模型,采用末段训练目标与置信度门控端点提交机制,在领域内和对话评测中均优于强基线。

  2. arXiv · Audio and Speech22

    InstCharVoice:基于自然语言指令的字符级可控文本转语音框架

    InstCharVoice 提出一个统一框架,将自然语言指令映射到字符级声学控制,在 WordVoice-5A-zh 语料上使用 Qwen3-Omni 构建指令标注。模型通过关键词预测与接地感知损失加权,聚焦指令相关字符并预测其声学属性,再生成语音 token。实验显示在指令遵循和关键词级声学控制上优于代表性 ITTS 系统,同时保持自然度与字符级可控性。

  3. arXiv · Computer Vision25

    HEIR:基于功能角色学习人体-实体交互

    HEIR 是一个包含 18,730 张图像的人体-实体交互基准,涵盖 6 种角色、105 种动作和 437 个名词,51.6% 的图像含多主体、62.1% 含多动作。CoRISP 利用共享实体身份组合角色条件证据,在 HEIR 上重复角色事件和共享参与者图像分别领先 2.87 和 3.82 Set mAP。代码和数据集已公开。

  4. arXiv · Human-Computer Interaction22

    SPECTRA:面向自主边缘-云 GUI 定位的认知扰动与轨迹分析

    SPECTRA 是一种轻量级自主请求框架,通过显著性引导的定向扰动和高效认知轨迹分析,在预填充阶段量化智能体高维认知轨迹的拓扑发散,避免低效的输出解码。实验表明,GTA1-32B+InfiGUI-G1-3B 和 GTA1-32B+Holo1.5-3B 分别以 37.58% 和 39.24% 的平均请求率,保留了 93.44% 和 95.60% 的云端独占性能。已被 ACM MM 2026 接收。

  5. arXiv · Computer Vision34

    HERO:肿瘤学鲁棒表征的组织学编码器

    HERO 是一个基于 ViT-G/14 的病理学基础模型,采用 DINO 和 iBOT 目标训练,并在约 57.5 万例临床全切片图像的 5 亿个图块上进行高分辨率 Gram 锚定微调。在公开基准上,HERO 在中心、扫描仪和染色变化下的鲁棒性最强,39 个切片级临床任务平均排名第一,6 个基准框架的等权综合排名最优。

  6. arXiv · Neural and Evolutionary Computing35

    多深度时间融合前馈局部训练脉冲神经网络

    研究者提出多深度时间融合(MDTF)脉冲神经网络架构,通过时间至首次脉冲(TTFS)延迟处理静态图像与事件流。网络采用四层卷积骨干与无监督脉冲时间依赖可塑性(STDP)逐层训练,在MNIST、Fashion-MNIST、CIFAR-10和N-MNIST上验证,选择性多深度融合在Fashion-MNIST和CIFAR-10上分别提升18.2和29.2个百分点。代码已公开。

  7. arXiv · Audio and Speech22

    Beyond Discrimination: Calibrated Geoprior Fusion for Bioacoustic Monitoring

    Perch 和 BirdNET 等生物声学基础模型虽能高精度识别物种,但置信度未经校准、难以解释为真实出现概率。研究利用 WABAD 全局标注声学数据集生成校准先验,并提出将声学预测与地理先验融合的新方法,在保持判别能力的同时改善校准性,为生物多样性监测提供更可靠的声学方案。

9月29日周二
9月28日周一
9月26日周六
9月25日周五
9月24日周四
  1. Apple Machine Learning Research28

    Apple 压缩流式神经音频编码器:基于潜在空间蒸馏的端侧语音分词器方案

    Apple 研究提出通过潜在空间蒸馏压缩流式神经音频编码器,以预量化潜在表示作为监督目标,仅训练学生编码器回归教师逐帧潜在值。2.8× 压缩下,蒸馏学生在五个教师-学生对上相对 WER 保持在 1.9% 以内,且同等容量独立训练分词器提升 3.9%。该方案覆盖两种分词接口,无需微调。

9月23日周三
9月22日周二
9月21日周一
9月18日周五
  1. Nature · Machine Learning28

    ReScale4DL:平衡像素与上下文信息以增强生物图像分割

    ReScale4DL 系统评估了图像分辨率对生物图像分割的影响,在分辨率降至原始 6%-25% 的下采样图像上训练 popular architectures,分割准确率最多提升 25% mean IoU 或仅下降不到 5%。下采样同等比例提升了信息吞吐并降低存储与推理时间,为高效、可持续、低成本的生物成像流程提供实用指导。

  2. Nature · Machine Learning26

    ConvexGating 从单细胞细胞术聚类中推断门控策略

    ConvexGating 从单细胞细胞术数据的聚类结果中推断最优门控策略,旨在将聚类得到的细胞群体转化为可用于分选的高纯度、低步骤门控方案。flow cytometry、mass cytometry(cyTOF)和 CITE-seq 等高维数据场景中,手动门控依赖操作者经验且存在跨操作者变异,而聚类方法虽能无偏分离细胞却难以直接转为分选策略。

9月15日周二
9月4日周五
8月28日周五
  1. MIT News · AI48

    超越自然序列:MIT 推出 PottsMPNN 蛋白质设计框架

    MIT 生物系推出 PottsMPNN 机器学习框架,融入物理原理以改进序列生成与突变稳定性预测。该模型通过引入噪声、氨基酸配对分布和进化相关序列训练,更好地理解序列-能量景观,能为无天然对应序列的全新设计结构生成可行序列。研究显示,减少对天然序列的依赖可提升结构兼容性与能量预测精度。

8月17日周一
8月13日周四
  1. Microsoft Research44

    MindTopo 揭示 VLM 的空间推理能力

    微软研究院的新基准 MindTopo 发现,专有与开放权重多模态模型在静态拓扑推理上明显强于交互规划,且都远低于人类。它按连续性、分离、顺序、包围和绳结五类,测试静态场景问答,以及模拟环境中须维持或改变关系的动作规划。规划失败常在理解场景之后出现,模型失去对结构关系的追踪,或提出违反环境约束的动作。

8月12日周三
  1. Microsoft Research64

    CARE-X介绍:面向临床有用的放射学视觉语言模型

    CARE-X是微软研究介绍的胸部X光统一视觉语言模型,结合生成式报告与结构化预测并通过DAPO奖励对齐学习优化临床正确性。该模型在ReXVQA基准达到94%准确率,并在印度Narayana Health临床数据上验证了罕见ICU病理检测效果。工具增强测量实验显示,Qwen3-VL-4B-Instruct结合确定性计算工具后,测量依赖条件的F1平均提升43.6个百分点。

    推荐理由:CARE-X通过联合训练生成与判别能力,在统一模型中实现灵活报告生成与校准预测,为放射学人工智能提供了可迁移的多任务优化方法。

8月11日周二
  1. MIT News · AI62

    GeoPT:具备物理感知能力的AI模型可模拟更广泛的真实场景

    MIT CSAIL与清华大学提出GeoPT预训练方法,通过130万组合成动力学样本让仿真模型获得物理直觉,在工业基准上达到峰值性能的速度提升两倍、所需标注数据减少60%。该方法在复杂3D形状、战斗机气动、船体波浪和汽车碰撞等场景中均优于现有模型,并成功泛化到未训练过的光传播模拟。

    推荐理由:GeoPT用合成动力学预训练让仿真模型更快更省数据,为构建物理基础模型提供了可迁移的新范式。

8月4日周二
  1. MIT News · AI62

    医疗 AI 辅助诊断的效果因用户专业水平而异

    MIT 与斯坦福等机构的研究发现,AI 辅助虽提升非专家和临床医生诊断皮肤病的准确率,但可解释性方法的影响因用户知识水平而异。非专家倾向于遵从 AI,尤其信赖 LLM 生成的解释,即使解释有误;临床医生则能抵抗错误解释,仅凭模型预测表现最佳。研究建议在设计医疗 AI 时应考虑用户差异,避免过度依赖模型。

    推荐理由:同一解释对非专家与临床医生效果相反,提示医疗 AI 应按用户知识水平差异化设计解释方式。

7月9日周四
6月30日周二
6月12日周五
6月6日周六
  1. Sebastian Raschka16

    LLM 研究论文清单:2026 年 1 月至 5 月

    summary_zh: Sebastian Raschka 整理了 2026 年 1 月至 5 月他标记的 LLM 研究论文清单,涵盖架构与模型设计、高效训练与推理、稀疏注意力与长上下文、推理与测试时计算、强化学习、智能体系统、编码智能体、扩散语言模型及评测基准等类别。

6月5日周五
  1. Google Research66

    Google Research发布PHRM系统:通过智能手机摄像头实现被动心率监测

    Google Research在Nature发表PHRM研究,通过智能手机前置摄像头在日常使用中被动监测心率,跨肤色MAPE<10%,RHR估计MAE<5bpm达到可穿戴设备精度。研究基于35万+视频片段和近700名多样本参与者,覆盖浅色到深色皮肤群体,并公开了最大规模智能手机视频数据集及预训练PHRM-mini模型供合格研究者申请。

    推荐理由:PHRM在大规模日常使用中实现跨肤色符合行业标准的心率监测,MAE低于5bpm的RHR估计达到可穿戴设备水平,为智能手机被动健康追踪设立了新基准。

5月19日周二
3月16日周一
  1. ScienceDaily · AI31

    科学家发现AI能提升人类创造力

    斯旺西大学一项超过800人参与的在线实验显示,使用AI支持系统设计虚拟汽车时,受试者花更多时间、产出更好设计且参与感更强。系统采用MAP-Elites方法生成包含高效、非常规乃至故意缺陷方案的视觉画廊,多样化输出帮助参与者突破初始假设并鼓励冒险。