FD-VAD：流式全双工语音的语义端点检测
FD-VAD 是一种无需 ASR 的流式语义端点检测模型，将有界因果音频窗口直接映射为 Continue/Stop 决策，在 TurnBench dev 集上以零样本方式达到 EOT 召回率 0.853（FP<=0.10）。模型融合冻结语音编码器、轻量模态适配器与参数高效适配的语言模型，采用末段训练目标与置信度门控端点提交机制，在领域内和对话评测中均优于强基线。
#语音
#语音
今日 2 条arXiv · Computation and LanguageAI 评分3939 arXiv · Audio and SpeechAI 评分2222 InstCharVoice：基于自然语言指令的字符级可控文本转语音框架
InstCharVoice 提出一个统一框架，将自然语言指令映射到字符级声学控制，在 WordVoice-5A-zh 语料上使用 Qwen3-Omni 构建指令标注。模型通过关键词预测与接地感知损失加权，聚焦指令相关字符并预测其声学属性，再生成语音 token。实验显示在指令遵循和关键词级声学控制上优于代表性 ITTS 系统，同时保持自然度与字符级可控性。
The Decoder精选AI 评分7979 ElevenLabs 发布 v4 语音模型，AI 声音更具表现力且更一致
ElevenLabs 发布 v4 语音模型，新架构提升方向遵循与长内容声音一致性，支持 90+ 语言及原生口音克隆。Turbo 变体实现 150 毫秒语音启动，在 Artificial Analysis 发音基准测试中得分 91.7%，盲测中约四分之三听众更偏好 v4。标准版 API 定价 $80/百万字符，Turbo 版 $40，即日起至 10 月 12 日临时降价至 $22 和 $11。
推荐理由：新版本在发音基准测试中得分91.7%，Turbo变体可在150毫秒内开始语音生成，为实时语音代理提供了速度与表达兼顾的方案。
TechCrunch · AIAI 评分4141 Modulate 完成 2500 万美元融资，用于其语音模型和分析套件
Modulate 完成 2500 万美元融资，用于其平台，该平台使用一系列小型模型为企业提供转录、情感分析、deepfake 检测和 AI 音乐检测，以及政策执行服务。
AWS Machine Learning BlogAI 评分4949 如何在 SageMaker AI 上用 vLLM-Omni 构建实时语音应用（Part 1）
在 Amazon SageMaker AI 上用 AWS vLLM-Omni DLC 部署 Qwen3-TTS，文本与音频经同一条持久双向连接传输，语音可在整段生成完成前开始播放。
AWS Machine Learning BlogAI 评分4444 阿里千问 Qwen3-TTS-12Hz-1.7B-Base 在 Amazon SageMaker AI 上部署实时个性化语音克隆
Qwen3-TTS-12Hz-1.7B-Base 是阿里千问团队公开的文本转语音模型，支持 10 种语言、基于 12Hz 语音 tokenizer 与流式生成，可通过少量参考音频实现说话人声音克隆，并跨语言保持声音身份。
Google DeepMind精选AI 评分6363 Google DeepMind 发布 Gemini 3.8 Live with Live Avatar，已在 Gemini Enterprise 上线
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar，把近实时视频生成与语音对话结合，为企业对话模型加上动态视觉形象，已在 Gemini Enterprise 上线。
推荐理由：原文给出实时视频形象与异步工具调用的能力说明，读者可据此了解企业智能体的交互形态变化。
AWS Machine Learning BlogAI 评分3636 Speaker-labeled transcription with WhisperX on SageMaker AI
WhisperX 扩展 OpenAI Whisper，加入逐词时间戳、说话人标注和批量推理，将原始音频转为结构化转录文本。AWS WhisperX Deep Learning Container 打包所有依赖，部署到 SageMaker 实时或异步端点，无需自定义镜像。
Simon WillisonAI 评分6060 Gemini 3.8 TTS Playground 发布
Google 发布 gemini-3.8-flash-tts 与 gemini-3.8-flash-lite-tts 两款文本转语音模型，并提供支持 2000+ 声音与自定义声音的互动 Playground。
Google DeepMindAI 评分4646 Google DeepMind 发布 Gemini 3.8 Flash TTS，支持生成自定义角色语音
Google DeepMind 发布了 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 模型，支持通过自然语言提示生成自定义角色语音。
Google DeepMind精选AI 评分7373 Google DeepMind 推出 Gemini 3.8 Live 和 3.8 Live Extended Thinking 模型
Google DeepMind 发布了 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking 模型，专注于近实时推理和语音代理。
推荐理由：Google DeepMind 发布了 Gemini 3.8 Live 系列模型，提升实时推理和语音代理能力，支持复杂任务执行与流畅对话，为开发者构建生产级语音代理提供高效工具。
OpenAI NewsAI 评分5353 GPT‑Live‑1 在 API 中推出全双工自然语音对话
GPT‑Live‑1 通过 API 推出全双工自然语音对话能力，支持更强指令遵循、自定义声音与电话渠道。开发者可借此构建更自然的语音交互应用。
Google DeepMind精选AI 评分6262 Google 发布 Gemini 3.5 Transcribe 语音转写模型
Google 发布语音转文字模型 Gemini 3.5 Transcribe，据 Artificial Analysis 测试流式 WER 为 4.0%、非流式为 2.6%。
推荐理由：原文列出流式与非流式 WER、延迟改进幅度及两条 API 形态，可与 Chirp 3 对照判断升级幅度。
Mistral AIAI 评分3939 Mistral 与 HUMAIN 宣布战略合作，推进沙特及区域主权 AI
Mistral 与 HUMAIN 宣布战略合作，覆盖 AI 基础设施、先进模型开发与 AI 解决方案部署，初期聚焦网络安全与语音，并计划开发阿拉伯语表现强劲的前沿模型，合作规模达数亿欧元。Mistral 将探索使用 HUMAIN 的数据中心基础设施，双方还计划在沙特推进联合 go-to-market 策略，面向受监管行业。
Hugging Face BlogAI 评分5858 NVIDIA 开源 Magpie TTS 多语言语音模型，支持 12 种语言与自有环境部署
NVIDIA 发布 364M 参数的开源语音合成模型 Magpie TTS Multilingual，支持 12 种语言，新增现代标准阿拉伯语、韩语和巴西葡萄牙语，并提供男声与女声。
Google DeepMindAI 评分4848 Google 在 Flow Music 上线 Lyria 3.5，升级音乐性、歌词、人声与创作控制
Google 在 Flow Music 中上线新一代音乐生成模型 Lyria 3.5，在音乐性、歌词、人声质量和创作控制四方面带来提升。该模型可生成更复杂自然、旋律结构更丰富的作品，歌词的提示词遵循与结构意识更好，人声更具情感表现力且发音改善，用户还能更便捷地控制输出节奏与时长。
Berkeley AI ResearchAI 评分2525 2026 BAIR 研究生毕业展示
summary_zh: BAIR 2026 届博士毕业生涵盖机器人与具身智能、大语言模型与推理、计算机视觉、生成式建模、AI 安全、人机交互、AI for Science 等方向。
Google DeepMind精选AI 评分6161 Gemini 3.5 Live Translate：流畅自然的语音翻译
Google DeepMind 发布 Gemini 3.5 Live Translate 音频模型，支持 70+ 语言实时语音到语音翻译，保留说话者语调与节奏。模型通过 Gemini Live API、Google Meet 和 Google Translate 开放，Android 端新增收听模式。
推荐理由：Gemini 3.5 Live Translate支持70+语言连续翻译，保留说话者语调，开发者可通过Live API和Google Translate接入。
Google DeepMindAI 评分5656 Gemini 3.1 Flash TTS 发布，支持音频标签与 70+ 语言
Google DeepMind 发布 Gemini 3.1 Flash TTS，一款在可控性、表现力和音质上均有提升的文本转语音模型。该模型在 Artificial Analysis TTS 榜单上取得 1,211 Elo，支持 70+ 语言、原生多说话人对话，并新增可用自然语言控制语气、语速和演绎方式的音频标签。
Mistral AI精选AI 评分6565 Mistral 发布 Voxtral TTS 文本转语音模型
Mistral AI 发布 Voxtral TTS，4B 参数、支持 9 种语言的多语言文本转语音模型，提供自然、情感化语音生成与低延迟流式输出。模型通过 API 和 Mistral Studio 开放，定价 $0.016/1k 字符，并提供开源权重。
推荐理由：原文给出延迟、定价与多语言支持等具体指标，读者可据此评估其是否适配自有语音 Agent 流程。
Mistral AI精选AI 评分6161 Le Chat 新增深度研究、语音对话与项目管理功能
Mistral AI 为 Le Chat 推出深度研究、语音对话、多语言推理和项目管理等新功能。深度研究模式可自动规划、搜索并生成结构化参考报告，语音模式由 Voxtral 模型驱动支持自然语言对话，多语言推理由 Magistral 模型支持，项目功能可组织对话并保留工具与设置。
推荐理由：Le Chat 新增深度研究、语音对话、多语言推理和项目管理功能，为用户提供了从信息搜集到组织协作的一体化 AI 助手体验。
Mistral AI精选AI 评分6969 Mistral AI 发布 Voxtral 语音理解模型
Mistral AI 发布 Voxtral 语音理解模型，提供 24B 和 3B 两个版本，均采用 Apache 2.0 开源许可。模型支持最长 30 分钟音频转录和 40 分钟理解，内置问答与摘要功能，并原生支持多语言自动识别。
推荐理由：Voxtral以不到同类API一半的价格提供接近商用水平的语音理解能力，为开源ASR与闭源服务之间的鸿沟提供了可部署的替代方案。