Skip to content

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

81 selectedRelated topics图像生成AI 视频语音与音频

Latest selected

41–60 of 81
Sep 15Tue
  1. NVIDIA Blog67

    费城儿童医院基于开源 NVIDIA AI 工具实现儿童心脏建模

    费城儿童医院使用 MONAI 等开源工具,将儿童心脏建模时间从数小时缩短到秒级,已用于术前规划和部分手术。波士顿儿童医院将建模用于约半数心脏手术,医院间正组建开源联盟。

    Why it matters: 原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。

Sep 3Thu
  1. Hugging Face Blog61

    NeoMME高效多模态原生多语言编码器

    NeoMME是260M和800M多模态原生多语言编码器,单塔双向Transformer从零训练,无需独立视觉塔或因果语言模型。260M模型在ViDoRe v3上达0.523 nDCG@10,超越同参数模型,编码速度约2倍于ColModernVBERT。通过分层池化和非对称量化,late-interaction存储从1.5MB压缩至6kB/页,压缩255倍且保留95%以上检索质量。

    Why it matters: 单塔多模态编码器以260M参数在ViDoRe v3上超越更大模型,并通过分层池化和非对称量化将多向量检索存储压缩255倍同时保留95%以上质量。

Sep 2Wed
  1. Google DeepMind68

    Gemini 3.7 Flash 等模型上线智能体视频理解,token 消耗最高降 88%

    Google DeepMind 在 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 上推出智能体视频理解功能,视频分析 token 消耗最高降低 88%、成本最高降低 66%、准确率最高提升 7%。

    Why it matters: 原文给出了 token 与成本降幅的具体数字和 API 启用方式,读者可据此判断长视频分析的成本边界。

Aug 28Fri
Aug 12Wed
  1. Google Research65

    AMIE 在专家级音视频临床咨询中取得进展

    AMIE (Video) 在实时视频临床咨询中达到专家级表现,基于Gemini和Project Astra,采用异步三智能体架构。在100个场景、300次标准化咨询的随机OSCE研究中,其临床能力与执业医师持平,且在体格观察和指导方面评分更高。

    Why it matters: 演示AI在实时视频临床咨询中达到专家级表现,多智能体架构平衡了对话速度与临床推理。

  2. Microsoft Research64

    CARE-X介绍:面向临床有用的放射学视觉语言模型

    CARE-X是微软研究介绍的胸部X光统一视觉语言模型,结合生成式报告与结构化预测并通过DAPO奖励对齐学习优化临床正确性。该模型在ReXVQA基准达到94%准确率,并在印度Narayana Health临床数据上验证了罕见ICU病理检测效果。工具增强测量实验显示,Qwen3-VL-4B-Instruct结合确定性计算工具后,测量依赖条件的F1平均提升43.6个百分点。

    Why it matters: CARE-X通过联合训练生成与判别能力,在统一模型中实现灵活报告生成与校准预测,为放射学人工智能提供了可迁移的多任务优化方法。

Aug 11Tue
  1. MIT News · AI62

    GeoPT:具备物理感知能力的AI模型可模拟更广泛的真实场景

    MIT CSAIL与清华大学提出GeoPT预训练方法,通过130万组合成动力学样本让仿真模型获得物理直觉,在工业基准上达到峰值性能的速度提升两倍、所需标注数据减少60%。该方法在复杂3D形状、战斗机气动、船体波浪和汽车碰撞等场景中均优于现有模型,并成功泛化到未训练过的光传播模拟。

    Why it matters: GeoPT用合成动力学预训练让仿真模型更快更省数据,为构建物理基础模型提供了可迁移的新范式。

Aug 10Mon
  1. Ollama Blog72

    Meta Superintelligence Labs 开源多模态模型 Muse Glimmer 已在 Ollama 上可用

    Meta Superintelligence Labs 发布开源多模态模型 Muse Glimmer(30B,Apache 2.0),已在 Ollama 上线,支持 128K+ 上下文,专为本地 Agent 工作流设计。

    Why it matters: 原文给出了本地 Agent 工作流的具体入口和 Apple Silicon 上的性能提升,读者可以据此判断它会怎样改变本地编码与多模态调用方式。

Aug 6Thu
  1. Google DeepMind76

    WeatherNext AI 模型在气旋预报上实现突破,预测精度平均提前一天

    Google DeepMind 发布 WeatherNext 模型,在气旋路径、强度和风场预测上平均比前代多出一天预报精度,相当于十年气象进展。该模型已在 Nature 发表论文,并在 2025 年飓风季帮助 NHC 对 Hurricane Melissa 做出历史性预报。

    Why it matters: 该模型在气旋路径、强度和风场预测上平均多出一天预报精度,相当于十年气象学进展,并已开源模型与代码供研究社区使用。

Aug 4Tue
  1. MIT News · AI62

    医疗 AI 辅助诊断的效果因用户专业水平而异

    MIT 与斯坦福等机构的研究发现,AI 辅助虽提升非专家和临床医生诊断皮肤病的准确率,但可解释性方法的影响因用户知识水平而异。非专家倾向于遵从 AI,尤其信赖 LLM 生成的解释,即使解释有误;临床医生则能抵抗错误解释,仅凭模型预测表现最佳。研究建议在设计医疗 AI 时应考虑用户差异,避免过度依赖模型。

    Why it matters: 同一解释对非专家与临床医生效果相反,提示医疗 AI 应按用户知识水平差异化设计解释方式。

Jul 30Thu
  1. Google DeepMind66

    Gemini Robotics ER 2 发布:赋能机器人视频理解、任务编排与多机器人协作

    Google DeepMind 发布 Gemini Robotics ER 2,具身推理模型,在视频理解与任务编排上较 ER 1.6 实现显著升级,并支持多机器人协作。

    Why it matters: Gemini Robotics ER 2 在视频理解与任务编排上较 ER 1.6 实现显著升级,支持多机器人协作与实时推理,为物理世界中的具身智能提供了新的能力基准。

Jul 28Tue
  1. Google DeepMind64

    Gemini Robotics 2 带来机器人的全身体智能

    Google DeepMind 发布 Gemini Robotics 2,包含三款模型分别实现全身体控制、具身推理与设备端适配。该模型可控制人形机器人完成行走、蹲伏、灵巧操作等复杂任务,ER 2 已在 Google AI Studio 和 Gemini Enterprise Agent Platform 开放预览,VLA 与设备端模型面向早期合作方开放。

    Why it matters: Gemini Robotics 2 首次实现全身体控制、灵巧操作与多机器人协作,并在设备上快速适配新机体形态,为通用物理 AI 提供了新的能力基线。

Jul 15Wed
  1. Together AI75

    Thinking Machines Lab 发布多模态推理模型 Inkling,Together AI 首日上线

    Thinking Machines Lab 发布 Inkling,Together AI 在发布当日将其上线至 Serverless 推理平台。Inkling 是 975B 总参数、40B 活跃参数的混合专家模型,支持 1M 上下文、接受文本、图像和音频输入并输出文本,提供可控推理强度设定,并在科学推理、数学、代码、预测等任务上进行了后训练。

    Why it matters: 原文给出 Inkling 的参数规模、上下文长度和可控推理设定,开发者可据此评估它在推理深度与 token 开销之间的平衡。

  2. Hugging Face Blog65

    Thinking Machines 发布 Inkling 多模态开源模型

    Inkling 由 Thinking Machines 发布,是一个原生接收图像、文本和音频输入的大规模多模态开源模型,总参数约 1T、活跃参数 41B,支持 1M 上下文窗口。

    Why it matters: Inkling 是原生接收图音文三模态的大规模开源模型,提供 BF16 与 NVFP4 双版本及 day-0 支持的推理引擎,读者可据此评估其在多模态推理基准中的相对位置。

Jul 1Wed
  1. Google DeepMind69

    Google DeepMind 发布 Nano Banana 2 Lite 与 Gemini Omni Flash

    Google DeepMind 发布两款生成模型,Nano Banana 2 Lite 面向高吞吐的快速出图,Gemini Omni Flash 面向高质量视频生成与对话式编辑,均已上线 Google AI Studio、Gemini API 和 Gemini Enterprise Agent Platform。

    Why it matters: Nano Banana 2 Lite 每张 1K 图 0.034 美元、Omni Flash 每秒视频 0.10 美元,读者可据此比较两款模型在图像与视频环节的成本取舍。

Jun 24Wed
  1. Vector Institute62

    SONIC-O1:面向真实音视频理解的多模态大模型开源基准

    Vector Institute 发布 SONIC-O1 基准,包含约 60 小时真实音视频内容、4958 个人工验证标注,覆盖 13 个对话主题和 5 大领域。评测显示闭源模型整体领先,时序定位差距显著(Gemini 3.0 Pro 25.4% R@0.5 vs Qwen3-Omni 2.8%),且群体间存在明显差异。

    Why it matters: 开源基准 SONIC-O1 揭示了现有模型在时序定位和群体差异上的明显短板,为音频视频理解研究提供了可复现的评测框架。

Jun 23Tue
  1. Together AI66

    ParallelKernelBench:前沿大语言模型尚不能编写高效多GPU内核

    Together AI发布ParallelKernelBench(PKB)开源基准,包含87个来自真实代码库的多GPU内核生成问题,要求模型用CUDA内核替代PyTorch+NCCL并通过NVLink直接通信。

    Why it matters: 基准揭示前沿模型在多GPU内核生成上正确率与速度优势均有限,为分布式优化研究提供了可复现的测试平台。