跳到正文

#多模态

今日 14 条
9月18日周五
  2. Nature · Machine Learning28

    ReScale4DL：平衡像素与上下文信息以增强生物图像分割

    ReScale4DL 系统评估了图像分辨率对生物图像分割的影响，在分辨率降至原始 6%-25% 的下采样图像上训练 popular architectures，分割准确率最多提升 25% mean IoU 或仅下降不到 5%。下采样同等比例提升了信息吞吐并降低存储与推理时间，为高效、可持续、低成本的生物成像流程提供实用指导。

  3. Nature · Machine Learning26

    ConvexGating 从单细胞细胞术聚类中推断门控策略

    ConvexGating 从单细胞细胞术数据的聚类结果中推断最优门控策略，旨在将聚类得到的细胞群体转化为可用于分选的高纯度、低步骤门控方案。flow cytometry、mass cytometry（cyTOF）和 CITE-seq 等高维数据场景中，手动门控依赖操作者经验且存在跨操作者变异，而聚类方法虽能无偏分离细胞却难以直接转为分选策略。

9月16日周三
  1. MIT News · AI72

    MIT团队提出xvr技术：术中X射线与术前3D扫描亚毫米级精准配准

    MIT与协作机构开发xvr（X-ray volume registration）技术，利用患者术前3D扫描生成数千张合成X射线训练AI模型，可在数秒内将术中2D X射线与3D扫描精准对齐，精度达亚毫米级。 该模型在覆盖多医院、多器官系统的最大真实注册数据集上，比现有AI方法精度提升一个数量级，适配新患者仅需约5分钟。

    推荐理由：该方法通过患者特异性合成数据训练，在真实数据集上显著超越现有AI方法，或提升微创手术的安全性与可及性。

  2. Google AI Blog62

    Google 发布多语言 AI 产品矩阵，覆盖 300 种语言及 1000 种语言计划

    Google 宣布其技术和产品已覆盖全球 300 多种语言、70 亿人，占全球人口 86%。Gemini 3.5 Live Translate 支持 70 种语言、2000+ 语言对的实时口语翻译，Gemini 3.5 Transcribe 提供高精度语音转文本。

    推荐理由：原文展示了从文本到音频理解再到端侧翻译的技术路径，读者可以据此判断 Google 在多语言 AI 交互上的最新能力边界。

9月15日周二
  1. NVIDIA Blog67

    费城儿童医院基于开源 NVIDIA AI 工具实现儿童心脏建模

    费城儿童医院使用 MONAI 等开源工具，将儿童心脏建模时间从数小时缩短到秒级，已用于术前规划和部分手术。波士顿儿童医院将建模用于约半数心脏手术，医院间正组建开源联盟。

    推荐理由：原文给出了能力变化和开放入口，读者可以据此判断它会怎样改变现有工作流。

9月10日周四
9月9日周三
9月4日周五
9月3日周四
  1. Hugging Face Blog61

    NeoMME高效多模态原生多语言编码器

    NeoMME是260M和800M多模态原生多语言编码器，单塔双向Transformer从零训练，无需独立视觉塔或因果语言模型。260M模型在ViDoRe v3上达0.523 nDCG@10，超越同参数模型，编码速度约2倍于ColModernVBERT。通过分层池化和非对称量化，late-interaction存储从1.5MB压缩至6kB/页，压缩255倍且保留95%以上检索质量。

    推荐理由：单塔多模态编码器以260M参数在ViDoRe v3上超越更大模型，并通过分层池化和非对称量化将多向量检索存储压缩255倍同时保留95%以上质量。

9月2日周三
8月28日周五
  1. MIT News · AI48

    超越自然序列：MIT 推出 PottsMPNN 蛋白质设计框架

    MIT 生物系推出 PottsMPNN 机器学习框架，融入物理原理以改进序列生成与突变稳定性预测。该模型通过引入噪声、氨基酸配对分布和进化相关序列训练，更好地理解序列-能量景观，能为无天然对应序列的全新设计结构生成可行序列。研究显示，减少对天然序列的依赖可提升结构兼容性与能量预测精度。

8月26日周三
  1. Google Research52

    AgentHands：为 XR 中基于空间的智能体对话生成交互式手部手势

    Google Research 在 CHI 2026 发表 AgentHands 原型，利用 XR 空间理解能力为 AI 智能体添加与语音同步的手部手势。系统包含环境感知、手势事件库、嵌入手势的推理和同步执行模块，在 12 人用户研究中相比纯语音基线显著提升了空间定位、复杂动作理解、安全提示效果并降低了认知负荷。

8月21日周五
8月17日周一
8月13日周四
  1. Microsoft Research44

    MindTopo 揭示 VLM 的空间推理能力

    微软研究院的新基准 MindTopo 发现，专有与开放权重多模态模型在静态拓扑推理上明显强于交互规划，且都远低于人类。它按连续性、分离、顺序、包围和绳结五类，测试静态场景问答，以及模拟环境中须维持或改变关系的动作规划。规划失败常在理解场景之后出现，模型失去对结构关系的追踪，或提出违反环境约束的动作。

8月12日周三
  2. Google Research65

    AMIE 在专家级音视频临床咨询中取得进展

    AMIE (Video) 在实时视频临床咨询中达到专家级表现，基于Gemini和Project Astra，采用异步三智能体架构。在100个场景、300次标准化咨询的随机OSCE研究中，其临床能力与执业医师持平，且在体格观察和指导方面评分更高。

    推荐理由：演示AI在实时视频临床咨询中达到专家级表现，多智能体架构平衡了对话速度与临床推理。

  3. Microsoft Research64

    CARE-X介绍：面向临床有用的放射学视觉语言模型

    CARE-X是微软研究介绍的胸部X光统一视觉语言模型，结合生成式报告与结构化预测并通过DAPO奖励对齐学习优化临床正确性。该模型在ReXVQA基准达到94%准确率，并在印度Narayana Health临床数据上验证了罕见ICU病理检测效果。工具增强测量实验显示，Qwen3-VL-4B-Instruct结合确定性计算工具后，测量依赖条件的F1平均提升43.6个百分点。

    推荐理由：CARE-X通过联合训练生成与判别能力，在统一模型中实现灵活报告生成与校准预测，为放射学人工智能提供了可迁移的多任务优化方法。

8月11日周二
  1. MIT News · AI62

    GeoPT：具备物理感知能力的AI模型可模拟更广泛的真实场景

    MIT CSAIL与清华大学提出GeoPT预训练方法，通过130万组合成动力学样本让仿真模型获得物理直觉，在工业基准上达到峰值性能的速度提升两倍、所需标注数据减少60%。该方法在复杂3D形状、战斗机气动、船体波浪和汽车碰撞等场景中均优于现有模型，并成功泛化到未训练过的光传播模拟。

    推荐理由：GeoPT用合成动力学预训练让仿真模型更快更省数据，为构建物理基础模型提供了可迁移的新范式。

8月10日周一
8月6日周四
  1. Google DeepMind76

    WeatherNext AI 模型在气旋预报上实现突破，预测精度平均提前一天

    Google DeepMind 发布 WeatherNext 模型，在气旋路径、强度和风场预测上平均比前代多出一天预报精度，相当于十年气象进展。该模型已在 Nature 发表论文，并在 2025 年飓风季帮助 NHC 对 Hurricane Melissa 做出历史性预报。

    推荐理由：该模型在气旋路径、强度和风场预测上平均多出一天预报精度，相当于十年气象学进展，并已开源模型与代码供研究社区使用。

8月4日周二
  1. Mistral AI59

    Mistral AI 发布 3B 开源多模态安全分类器 Shieldstral

    Mistral AI 发布 Shieldstral，一个 3B 开源权重多模态安全分类器，以 Apache 2.0 许可开放下载。它把内容审核建模为推理时传入纯语言策略的问答任务，无需重新训练即可适配新策略，在文本安全上匹配最高 7 倍规模的开源 guard 模型，并在多模态审核上刷新 SOTA。模型可在单张 16GB NVIDIA GPU 上运行。

  2. MIT News · AI62

    医疗 AI 辅助诊断的效果因用户专业水平而异

    MIT 与斯坦福等机构的研究发现，AI 辅助虽提升非专家和临床医生诊断皮肤病的准确率，但可解释性方法的影响因用户知识水平而异。非专家倾向于遵从 AI，尤其信赖 LLM 生成的解释，即使解释有误；临床医生则能抵抗错误解释，仅凭模型预测表现最佳。研究建议在设计医疗 AI 时应考虑用户差异，避免过度依赖模型。

    推荐理由：同一解释对非专家与临床医生效果相反，提示医疗 AI 应按用户知识水平差异化设计解释方式。

7月30日周四
  1. Google DeepMind66

    Gemini Robotics ER 2 发布：赋能机器人视频理解、任务编排与多机器人协作

    Google DeepMind 发布 Gemini Robotics ER 2，具身推理模型，在视频理解与任务编排上较 ER 1.6 实现显著升级，并支持多机器人协作。

    推荐理由：Gemini Robotics ER 2 在视频理解与任务编排上较 ER 1.6 实现显著升级，支持多机器人协作与实时推理，为物理世界中的具身智能提供了新的能力基准。

7月28日周二
  1. Google DeepMind64

    Gemini Robotics 2 带来机器人的全身体智能

    Google DeepMind 发布 Gemini Robotics 2，包含三款模型分别实现全身体控制、具身推理与设备端适配。该模型可控制人形机器人完成行走、蹲伏、灵巧操作等复杂任务，ER 2 已在 Google AI Studio 和 Gemini Enterprise Agent Platform 开放预览，VLA 与设备端模型面向早期合作方开放。

    推荐理由：Gemini Robotics 2 首次实现全身体控制、灵巧操作与多机器人协作，并在设备上快速适配新机体形态，为通用物理 AI 提供了新的能力基线。

7月23日周四
  1. Vector Institute33

    Mixture-of-Experts：从稀疏路由到多模态部署

    MoE 模型通过路由器为每个 token 动态选择少量专家子网络激活，在增加总参数的同时保持每 token 计算稀疏。文章首先解释路由决策、负载均衡与训练中 specialization 的形成机制，随后报告了在 4 张 A100 GPU 上微调 350 亿参数多模态 MoE 的经验，涵盖 5 种失败的 sharding 方案、最终成功的方法，以及按层路由审计揭示的音频、视频与文本容量分配。

7月16日周四
  1. Hugging Face Blog50

    DharmaOCR 在巴西葡萄牙语 OCR 上超越 Mistral OCR4 和 Unlimited-OCR

    DharmaOCR 通过领域专精与两阶段训练（监督微调 + DPO），在巴西葡萄牙语基准上得分 0.925，显著高于 Mistral OCR4 的 0.798 与 Unlimited-OCR 的 0.7587。监督微调将参数集中于巴西葡萄牙语的词汇、句法与文档结构，DPO 阶段则降低推理时的退化率与不稳定输出。两阶段缺一不可：微调建立领域能力，DPO 确保该能力在生产条件下稳定。

  2. Google DeepMind38

    Google DeepMind 与 Isomorphic Labs 联合推进 bioresilience 计划

    Google DeepMind 与 Isomorphic Labs 发布 bioresilience 联合方案，通过预防、检测、响应三方面应对生物安全威胁。AlphaFold 映射近所有已知蛋白质三维结构，AlphaGenome 揭示基因组功能，IsoDDE 提供药物设计真实精度。AlphaEvolve 优化宏基因组测序算法以更快检测新疫情，SynthID 水印技术正适配生物序列筛查。

7月15日周三
  1. Together AI75

    Thinking Machines Lab 发布多模态推理模型 Inkling，Together AI 首日上线

    Thinking Machines Lab 发布 Inkling，Together AI 在发布当日将其上线至 Serverless 推理平台。Inkling 是 975B 总参数、40B 活跃参数的混合专家模型，支持 1M 上下文、接受文本、图像和音频输入并输出文本，提供可控推理强度设定，并在科学推理、数学、代码、预测等任务上进行了后训练。

    推荐理由：原文给出 Inkling 的参数规模、上下文长度和可控推理设定，开发者可据此评估它在推理深度与 token 开销之间的平衡。

  2. Hugging Face Blog65

    Thinking Machines 发布 Inkling 多模态开源模型

    Inkling 由 Thinking Machines 发布，是一个原生接收图像、文本和音频输入的大规模多模态开源模型，总参数约 1T、活跃参数 41B，支持 1M 上下文窗口。

    推荐理由：Inkling 是原生接收图音文三模态的大规模开源模型，提供 BF16 与 NVFP4 双版本及 day-0 支持的推理引擎，读者可据此评估其在多模态推理基准中的相对位置。

7月9日周四
7月6日周一
  1. Hugging Face Blog42

    PRX Part 4：数据策略详解

    summary_zh: PRX 团队公开了其预训练数据策略：从公开与内部数据集混合采集图像数据，用 VLM 重新标注，并以长caption 保证描述完整。流程上使用 Lance 做特征工程与数据集构建、MDS 格式流式读取；文本编码器切换至 Qwen3-VL 后改为训练时实时计算 latent，仅带来约 3–4% 吞吐量开销；图像统一以质量 92 的 JPEG 编码。

7月1日周三