跳到正文

#多模态

今日 16 条
9月25日周五
9月24日周四
  1. NVIDIA Blog62

    NVIDIA 与合作方通过 AlphaFold 数据库开放 2800+ 病毒蛋白质复合物预测结构

    NVIDIA 联合 Google DeepMind、EMBL-EBI 等机构通过 AlphaFold Database 开放超过 2800 种病毒的蛋白质复合物预测结构,约 30% 为科学界全新发现的相互作用。

    推荐理由:开放预测结果与推理流水线为研究者提供了可复用的基础设施,降低未来疫情中蛋白质结构解析的门槛。

  2. Apple Machine Learning Research28

    Apple 压缩流式神经音频编码器:基于潜在空间蒸馏的端侧语音分词器方案

    Apple 研究提出通过潜在空间蒸馏压缩流式神经音频编码器,以预量化潜在表示作为监督目标,仅训练学生编码器回归教师逐帧潜在值。2.8× 压缩下,蒸馏学生在五个教师-学生对上相对 WER 保持在 1.9% 以内,且同等容量独立训练分词器提升 3.9%。该方案覆盖两种分词接口,无需微调。

9月23日周三
9月22日周二
9月21日周一
9月19日周六
9月18日周五
  1. Nature · Machine Learning28

    ReScale4DL:平衡像素与上下文信息以增强生物图像分割

    ReScale4DL 系统评估了图像分辨率对生物图像分割的影响,在分辨率降至原始 6%-25% 的下采样图像上训练 popular architectures,分割准确率最多提升 25% mean IoU 或仅下降不到 5%。下采样同等比例提升了信息吞吐并降低存储与推理时间,为高效、可持续、低成本的生物成像流程提供实用指导。

  2. Nature · Machine Learning26

    ConvexGating 从单细胞细胞术聚类中推断门控策略

    ConvexGating 从单细胞细胞术数据的聚类结果中推断最优门控策略,旨在将聚类得到的细胞群体转化为可用于分选的高纯度、低步骤门控方案。flow cytometry、mass cytometry(cyTOF)和 CITE-seq 等高维数据场景中,手动门控依赖操作者经验且存在跨操作者变异,而聚类方法虽能无偏分离细胞却难以直接转为分选策略。

9月16日周三
  1. MIT News · AI72

    MIT团队提出xvr技术:术中X射线与术前3D扫描亚毫米级精准配准

    MIT与协作机构开发xvr(X-ray volume registration)技术,利用患者术前3D扫描生成数千张合成X射线训练AI模型,可在数秒内将术中2D X射线与3D扫描精准对齐,精度达亚毫米级。 该模型在覆盖多医院、多器官系统的最大真实注册数据集上,比现有AI方法精度提升一个数量级,适配新患者仅需约5分钟。

    推荐理由:该方法通过患者特异性合成数据训练,在真实数据集上显著超越现有AI方法,或提升微创手术的安全性与可及性。

  2. Google AI Blog62

    Google 发布多语言 AI 产品矩阵,覆盖 300 种语言及 1000 种语言计划

    Google 宣布其技术和产品已覆盖全球 300 多种语言、70 亿人,占全球人口 86%。Gemini 3.5 Live Translate 支持 70 种语言、2000+ 语言对的实时口语翻译,Gemini 3.5 Transcribe 提供高精度语音转文本。

    推荐理由:原文展示了从文本到音频理解再到端侧翻译的技术路径,读者可以据此判断 Google 在多语言 AI 交互上的最新能力边界。

9月15日周二
  1. NVIDIA Blog67

    费城儿童医院基于开源 NVIDIA AI 工具实现儿童心脏建模

    费城儿童医院使用 MONAI 等开源工具,将儿童心脏建模时间从数小时缩短到秒级,已用于术前规划和部分手术。波士顿儿童医院将建模用于约半数心脏手术,医院间正组建开源联盟。

    推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。

9月10日周四
9月9日周三
9月4日周五
9月3日周四
  1. Hugging Face Blog61

    NeoMME高效多模态原生多语言编码器

    NeoMME是260M和800M多模态原生多语言编码器,单塔双向Transformer从零训练,无需独立视觉塔或因果语言模型。260M模型在ViDoRe v3上达0.523 nDCG@10,超越同参数模型,编码速度约2倍于ColModernVBERT。通过分层池化和非对称量化,late-interaction存储从1.5MB压缩至6kB/页,压缩255倍且保留95%以上检索质量。

    推荐理由:单塔多模态编码器以260M参数在ViDoRe v3上超越更大模型,并通过分层池化和非对称量化将多向量检索存储压缩255倍同时保留95%以上质量。

9月2日周三
8月28日周五
  1. MIT News · AI48

    超越自然序列:MIT 推出 PottsMPNN 蛋白质设计框架

    MIT 生物系推出 PottsMPNN 机器学习框架,融入物理原理以改进序列生成与突变稳定性预测。该模型通过引入噪声、氨基酸配对分布和进化相关序列训练,更好地理解序列-能量景观,能为无天然对应序列的全新设计结构生成可行序列。研究显示,减少对天然序列的依赖可提升结构兼容性与能量预测精度。

8月27日周四
8月26日周三
  1. Google Research52

    AgentHands:为 XR 中基于空间的智能体对话生成交互式手部手势

    Google Research 在 CHI 2026 发表 AgentHands 原型,利用 XR 空间理解能力为 AI 智能体添加与语音同步的手部手势。系统包含环境感知、手势事件库、嵌入手势的推理和同步执行模块,在 12 人用户研究中相比纯语音基线显著提升了空间定位、复杂动作理解、安全提示效果并降低了认知负荷。

8月25日周二