TurboQuant:通过极致压缩重新定义 AI 效率
Google Research 提出 TurboQuant 压缩算法,在零精度损失下将 KV cache 压缩至 3 bits,并在 H100 上实现 8x 注意力计算加速。配合 QJL 与 PolarQuant 方法,在 LongBench 等长上下文基准上保持模型性能,同时显著降低内存与检索开销。
推荐理由:原文给出 TurboQuant 在 KV cache 和向量搜索上的压缩比与速度提升数据,读者可据此评估其工程落地价值。
Google Research 提出 TurboQuant 压缩算法,在零精度损失下将 KV cache 压缩至 3 bits,并在 H100 上实现 8x 注意力计算加速。配合 QJL 与 PolarQuant 方法,在 LongBench 等长上下文基准上保持模型性能,同时显著降低内存与检索开销。
推荐理由:原文给出 TurboQuant 在 KV cache 和向量搜索上的压缩比与速度提升数据,读者可据此评估其工程落地价值。
Together AI 扩展 Together Fine-Tuning,原生支持工具调用、推理与视觉语言模型微调,并升级训练栈以支持 100B+ 参数模型、最高 6 倍吞吐提升和 100GB 数据集。
推荐理由:原文给出工具调用、推理与视觉模型微调的新支持,以及训练吞吐和数据集上限提升,读者可据此评估自身多轮工作流的迭代成本与可靠性改善空间。
Mistral AI 作为创始成员加入 NVIDIA Nemotron Coalition,与 NVIDIA 共同开发前沿开源基础模型, Mistral Small 4 今日发布。
Together AI 在 NVIDIA GTC 2026 宣布多项合作与模型上线,包括集成 NVIDIA Dynamo 1.0 推理框架、通过 NemoClaw 提供超 150 个优化模型、上线 NVIDIA Nemotron 3 Super(120B 参数、1M 上下文窗口)以及 NVIDIA Parakeet TDT 0.6B V3 ASR 模型。
Together GPU Clusters(曾用名 Instant Clusters)新增自动扩缩容、基于角色的访问控制、全栈可观测性、自助节点修复与主动健康检查。
Together AI 在首届 AI Native Conf 发布七项更新,涵盖 FlashAttention-4、Together Megakernel、together.compile、Reinforcement Learning API、ThunderAgent、ATLAS-2 与 CPD。
推荐理由:七项发布覆盖内核、强化学习与推理优化,读者可据此评估 Together 在生产部署与训练加速上的最新能力边界。
FlashAttention-4 在 B200 上 BF16 最高达 1605 TFLOPs/s(71% 利用率),比 cuDNN 9.13 快 1.3×、比 Triton 快 2.7×。通过前向 softmax 与 MMA 重叠、TMEM 缓存中间结果、2-CTA MMA 降共享内存流量,以及确定性模式提升可复现性。
推荐理由:原文给出了 B200 上的具体吞吐数据和对比倍数,读者可据此评估 FlashAttention-4 在实际训练中的加速潜力。
Together AI 发布缓存感知的预填充-解码分离架构(CPD),将推理分为 Pre-Prefill、Prefill 和 Decode 三层,通过缓存复用和 RDMA 共享 KV cache 让暖请求绕过冷请求的预填充队列。
推荐理由:通过区分冷热请求并引入三级 KV cache 层次,在长上下文混合负载下将可持续 QPS 提升约 35–40%。
summary_zh: Together AI 发布了全新品牌视觉,由 Pentagram 设计公司打造,表达开放、连接与共享规模的理念。新视觉围绕 AI 全生命周期整合开源创新、前沿系统研究与开发者体验。
summary_zh: Vector Institute 于 2 月 19-20 日举办第三届 Remarkable 2026 大会,吸引逾 1,500 名研究者与产业人士参与。
Meta 开源 RCCLX(基于 RCCL 的增强版),集成 Torchcomms 并将 CTran 移植到 AMD 平台,支持 AllToAllvDynamic 等特性。新增 Direct Data Access 与低精度集合通信,在 MI300X 上解码小消息延迟降低 10–50%,前向计算加速 10–30%,端到端推理延迟下降约 9–10%、吞吐提升约 7%,GSM8K 偏差约 0.3%。
推荐理由:原文给出 AMD 平台通信库的能力变化与量化结果,读者可据此评估 RCCLX 对现有训练与推理工作流的实际影响。
summary_zh: Ollama 0.17 将 OpenClaw 个人 AI 助手的启动简化为单条命令 `ollama launch openclaw --model kimi-k2.5:cloud`,自动处理安装与配置。
Together AI 提出 CDLM 训练方案,让扩散语言模型在块因果掩码下做多 token 最终化并启用精确块级 KV 缓存。实验显示 CDLM–Dream 在 GSM8K-CoT 与 MBPP-Instruct 上分别提速 11.2x 与 14.5x,多数任务精度变化很小。
推荐理由:通过训练让扩散语言模型在块内自回归解码并启用精确 KV 缓存,在保持质量的同时显著减少推理步数与延迟。
Together AI 发布 Dedicated Container Inference,支持用户以 Docker 容器方式部署自定义生成式媒体模型,并由平台负责自动扩缩容、队列、流量隔离与监控。客户实测视频生成等任务推理速度提升 1.4–2.6 倍;在 Together GPU Cloud 训练的模型可直接部署,无需传输产物。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
OpenClaw 是连接 WhatsApp、Telegram、Slack、Discord、iMessage 等通讯平台与 AI 编程助手的本地化网关,保持对话和代码隐私。
Ollama 推出 `ollama launch` 命令,一键设置并运行 Claude Code、OpenCode、Codex 等编程工具,无需配置环境变量或配置文件。
Mistral AI 在 disaggregated serving 环境下发现 vLLM worker 内存以约 400 MB/分钟线性增长,最终定位到 UCX 通过 mmap hook 拦截内存调用、导致注册缓存无限累积。
Ollama v0.14.0 起兼容 Anthropic Messages API,Claude Code 可通过 --model 指定本地模型(如 gpt-oss:20b、qwen3-coder)或云端模型(如 glm-4.7:cloud、minimax-m2.1:cloud)运行,并支持工具调用、流式对话、系统提示与视觉输入。
推荐理由:Ollama 兼容 Anthropic API 后,Claude Code 可直连本地或云端开源模型,为开发者提供无需切换平台即可替换模型的选择。
Mistral 3 包含 Ministral 3(3B/8B/14B)与 Mistral Large 3(41B 活跃/675B 总参数稀疏 MoE),全部 Apache 2.0 开源。
推荐理由:Mistral 3 同时覆盖从边缘到数据中心的稠密与稀疏 MoE 模型,并给出 NVFP4 checkpoint 与多平台部署入口,读者可据此评估自托管与云端方案的成本与性能取舍。
Mistral AI 宣布与 SAP 合作打造完全主权 AI 栈,集成模型到 SAP AI Foundation 并共同开发行业解决方案;同时与 Helsing 加速开发视觉-语言-动作模型用于国防安全应用。Mistral 将扩大德国团队、近期开设德国办公室,践行让欧洲拥有并掌控 AI 的创始原则。
Mistral AI 发布企业级生产 AI 平台 Mistral AI Studio,由 Observability、Agent Runtime 和 AI Registry 三大支柱组成。
Ollama 在 DGX Spark 固件 580.95.05 与 Ollama v0.12.6 下测试 gpt-oss、gemma3、llama3.1、deepseek-r1、qwen3 等模型的 prefill 与 decode 速度,并给出固件升级与安装命令。
推荐理由:原文给出 DGX Spark 上多模型的量化与速度数据,读者可据此评估本地部署的吞吐与显存匹配度。
Meta 分享了在大语言模型推理中优化资源效率、吞吐量和延迟的并行技术,包括 Tensor Parallelism 的 DDA 算法、Context Parallelism 的 Pass-KV/Pass-Q 变体以及 Expert Parallelism 的 all-to-all 优化。
NVIDIA DGX Spark 搭载 GB10 Grace Blackwell Superchip,提供 1 petaFLOP 性能与 128GB 内存,可通过 Ollama 运行 Qwen、DeepSeek、Llama、Mistral、Gemma、Gpt-oss 等模型。Ollama 与 NVIDIA 合作针对聊天、文档处理、代码及多模态工作流进行性能优化。
summary_zh: Meta 发布基于 LLM 的 Automated Compliance Hardening(ACH)工具,结合变异测试与生成式 AI,自动生成高相关性变异体并确保测试能捕获这些变异。
summary_zh: Meta 过去 21 年将基础设施从少量服务器扩展为全球网络,服务超过 34 亿用户。AI 的出现改变了基础设施扩展方式,需要在硬件、软件、网络和数据中心各层进行创新。
Ollama 新增 Web Search API,提供免费额度与云端更高速率限制,通过 REST API 及 Python/JavaScript 库调用,为模型补充实时网页信息以减少幻觉、提升准确性。该能力可配合 Qwen 3 4B 等模型构建搜索代理,并支持 gpt-oss 等模型执行长时研究任务。
Ollama 发布新的模型调度引擎,精确测量模型所需内存,减少内存溢出崩溃并提升 GPU 利用率。示例显示 gemma3:12b 在 128k 上下文下 token 生成速度从 52.02 提升至 85.54 tokens/s,mistral-small3.2 提示评估速度从 127.84 提升至 1380.24 tokens/s。新功能默认适用于新引擎实现的所有模型。
Ollama 发布云端模型预览功能,支持在数据中心硬件上运行本地无法容纳的大型模型,同时保持本地工具体验和 OpenAI 兼容 API。可用模型包括 qwen3-coder:480b-cloud、gpt-oss:120b-cloud、gpt-oss:20b-cloud 和 deepseek-v3.1:671b-cloud,需登录 ollama.com 使用。
推荐理由:本地工具链无缝接入云端大模型,读者可据此评估在不更换工作流的前提下扩展模型规模的可行性。
Mistral AI完成17亿欧元C轮融资,估值117亿欧元,由半导体设备制造商ASML领投。DST Global、Andreessen Horowitz、Bpifrance、General Catalyst、Index Ventures、Lightspeed及NVIDIA参与投资。公司表示将延续独立发展,聚焦战略行业的定制化前沿AI解决方案。
TensorFlow 2.20 已发布,tf.lite 模块将被弃用,on-device 推理迁移至独立仓库 LiteRT,提供 Kotlin 和 C++ 新 API,并统一 NPU 接口以提升实时与大模型推理性能。
OpenAI 联合 Ollama 发布 gpt-oss-20b 与 gpt-oss-120b 两个开源权重模型,支持 Agentic 能力、链式推理、可配置推理强度和 MXFP4 量化,20B 模型可在 16GB 内存运行,120B 模型可单卡 80GB GPU 部署。
推荐理由:本地即可运行 OpenAI 最新开源权重模型,读者能据此评估自身硬件是否满足部署门槛。
summary_zh: Pixtral-12B 经过 LoRA 微调后在卫星图像分类任务上显著优于基础模型,在 AID 数据集(8000 训练 / 2000 测试)上减少了基础模型的幻觉和模糊类别误判。
Mistral 发布 Codestral 25.08,并推出包含 Codestral Embed、Devstral 与 Mistral Code 插件的企业级编程栈,支持云、VPC 与本地部署。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Ollama 的新应用已在 macOS 和 Windows 上线,支持模型下载与对话、文件拖拽上传(包括文本和 PDF),并可处理代码文件。内置的多模态引擎支持向 Gemma 3 等模型发送图片,上下文长度可在设置中调整但需要更多内存。新应用可从 Ollama 官网下载,CLI 版本仍可从 GitHub releases 页面获取。
Mistral AI 推出 AI for Citizens 计划,帮助各国政府与公共机构按本地需求部署 AI,改造公共服务。该计划已与法国、卢森堡、新加坡、荷兰、英格兰、瑞士等国的政府、国防部门、公共机构及教育机构合作。方案提供自托管、本地 AI 数据中心、SaaS 与 serverless API 等部署选择,并支持数据主权。
Mistral AI 发布 Mistral Compute,提供私有集成 AI 基础设施栈,涵盖 GPU、编排、API、产品与服务,形态从裸金属服务器到全托管 PaaS。
Mistral 发布企业级 AI 编程助手 Mistral Code,基于开源项目 Continue 构建,今日开放支持 JetBrains IDE 和 VSCode 的私有 beta,正式版即将推出。
Stanford Hazy Research 推出 Minions 协议,通过 NVIDIA Hopper H100 远程证明与加密 enclave 实现 Ollama 本地模型与云端前沿模型的端到端加密协作,敏感上下文不离开设备,延迟增加不到 1%。项目已开源并提供 Streamlit 演示与 Python 示例代码。
推荐理由:原文给出了端到端加密协作协议的实现路径和实测开销,读者可据此评估本地-云端混合架构的安全性与成本平衡。
summary_zh: Mistral 提出用结构化输出(Structured Outputs)实现 RAG Triad 评估框架,通过 Context Relevance、Groundedness、Answer Relevance 三个指标,结合"LLM As a Judge"对检索与生成结果进行自动评分。