DeepSeek-V4 发布：百万上下文是推理系统问题
DeepSeek-V4 支持 1M 上下文窗口，通过 CSA/HCA/SWA 混合注意力在 token 轴压缩 KV 缓存。在 NVIDIA HGX B200 上，缓存策略使单节点 KV 容量从约 1.2M token 提升至 3.7M token。
推荐理由：V4 把百万上下文变成系统问题，读者可据此判断自身负载是否落在压缩注意力与缓存策略的有效区间。
部署工程
全部主题把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
最新精选
第 101–120 条 · 共 126 条Together AI精选AI 评分7272
Kubernetes AI精选AI 评分6767 Kubernetes v1.36 引入基于清单的准入控制
Kubernetes v1.36 引入 manifest-based admission control alpha 特性，允许通过 API server 启动时加载磁盘上的策略文件，在集群引导阶段即生效并防止被删除。
推荐理由：原文给出了 manifest-based admission control 的启动加载机制和保护边界，读者可以据此评估它对集群引导阶段安全策略可用性的实际改善。
Together AI精选AI 评分7272 DeepSeek-V4 Pro 现已在 Together AI 上可用
DeepSeek-V4 Pro 已在 Together AI 提供 Serverless Inference，模型级支持 1M 上下文，当前部署窗口为 512K，采用 1.6T 参数 MoE 架构，激活 49B 参数。提供 Non-Think、Think High、Think Max 三档推理模式，并针对重复长上下文给出缓存输入定价（$0.20 / 1M tokens）。
推荐理由：原文给出了能力变化和开放入口，读者可以据此判断它会怎样改变现有工作流。
Together AI精选AI 评分6060 Together AI 在 Day 0 推出 NVIDIA Nemotron 3 Nano Omni
NVIDIA Nemotron 3 Nano Omni 现已上线 Together AI 平台，这是一款支持视频、图像、音频和语言的多模态开放模型。其 30B A3B MoE 架构每次激活约 3B 参数，支持最多 256K tokens 的共享多模态上下文，并在单一推理循环中完成跨模态推理。
推荐理由：单一模型统一多模态推理降低了多模型拼接的复杂度，对构建多模态智能体系统的开发者具有直接参考价值。
Weaviate Blog精选AI 评分6262 Weaviate 1.37 发布
Weaviate v1.37 已开源并上线云服务，新增 MCP Server、可扩展分词器、MMR 多样性搜索、查询性能分析、增量备份、Gemini 音频支持和 BlobHash 属性类型。MCP Server 让 LLM 和 IDE 可原生对接数据库；增量备份通过引用未变更数据块缩小备份体积；BlobHash 在向量化后仅持久化 SHA-256 哈希。
推荐理由：原文给出了能力变化和开放入口，读者可以据此判断它会怎样改变现有工作流。
Mistral AI精选AI 评分6161 Spaces：为人类与 AI 代理打造的 CLI
Mistral AI 发布 Spaces CLI，为人类开发者和 AI 智能体提供统一命令行接口。文章提出交互输入应有 flag 等价、状态显式化、插件可自省等原则，并指出生成 context.json 和 AGENTS.md 可显著减少智能体错误。从单提示到部署上线仅需不到 10 分钟。
推荐理由：原文系统阐述了让 CLI 同时服务人类与 AI 智能体的设计原则，涵盖 flag 等价、显式状态、插件化等模式，读者可据此构建更可组合、可脚本化的开发者工具。
Ollama Blog精选AI 评分7676 Ollama 在 Apple Silicon 上通过 MLX 加速预览
Ollama 0.19 预览版在 Apple Silicon 上基于 MLX 框架加速，M5/M5 Pro/M5 Max 利用新 GPU 神经加速器提升 TTFT 和生成速度。引入 NVIDIA NVFP4 格式支持，并升级缓存以提高响应效率。
推荐理由：Apple Silicon 上运行 Ollama 的速度变化和 NVFP4 支持，可帮助用户评估本地推理的性能边界。
Google Research精选AI 评分6767 Google 发布 Vibe Coding XR，结合 Gemini 与 XR Blocks 加速原生 XR 应用原型
Google Research 发布 Vibe Coding XR 工作流，将 Gemini 与基于 WebXR、three.js、LiteRT.js 的 XR Blocks 框架结合，把自然语言提示转为具备物理感知的可运行 Android XR 应用，整个过程不到 60 秒。
推荐理由：原文给出了从自然语言到可运行 Android XR 应用的端到端流程与实测基线，读者可据此判断自身原型开发是否值得接入。
Google Research精选AI 评分6060 TurboQuant：通过极致压缩重新定义 AI 效率
Google Research 提出 TurboQuant 压缩算法，在零精度损失下将 KV cache 压缩至 3 bits，并在 H100 上实现 8x 注意力计算加速。配合 QJL 与 PolarQuant 方法，在 LongBench 等长上下文基准上保持模型性能，同时显著降低内存与检索开销。
推荐理由：原文给出 TurboQuant 在 KV cache 和向量搜索上的压缩比与速度提升数据，读者可据此评估其工程落地价值。
Together AI精选AI 评分6262 Together AI 扩展微调服务：支持工具调用、推理与视觉模型微调
Together AI 扩展 Together Fine-Tuning，原生支持工具调用、推理与视觉语言模型微调，并升级训练栈以支持 100B+ 参数模型、最高 6 倍吞吐提升和 100GB 数据集。
推荐理由：原文给出工具调用、推理与视觉模型微调的新支持，以及训练吞吐和数据集上限提升，读者可据此评估自身多轮工作流的迭代成本与可靠性改善空间。
Together AI精选AI 评分8080 Together AI 在 AI Native Conf 发布七项研究与产品更新
Together AI 在首届 AI Native Conf 发布七项更新，涵盖 FlashAttention-4、Together Megakernel、together.compile、Reinforcement Learning API、ThunderAgent、ATLAS-2 与 CPD。
推荐理由：七项发布覆盖内核、强化学习与推理优化，读者可据此评估 Together 在生产部署与训练加速上的最新能力边界。
Together AI精选AI 评分7272 FlashAttention-4：面向 Blackwell 非对称硬件的算法与 Kernel 协同设计
FlashAttention-4 在 B200 上 BF16 最高达 1605 TFLOPs/s（71% 利用率），比 cuDNN 9.13 快 1.3×、比 Triton 快 2.7×。通过前向 softmax 与 MMA 重叠、TMEM 缓存中间结果、2-CTA MMA 降共享内存流量，以及确定性模式提升可复现性。
推荐理由：原文给出了 B200 上的具体吞吐数据和对比倍数，读者可据此评估 FlashAttention-4 在实际训练中的加速潜力。
Together AI精选AI 评分6464 Together AI 提出缓存感知的预填充-解码分离架构 CPD，长上下文推理可持续 QPS 提升约 35–40%
Together AI 发布缓存感知的预填充-解码分离架构（CPD），将推理分为 Pre-Prefill、Prefill 和 Decode 三层，通过缓存复用和 RDMA 共享 KV cache 让暖请求绕过冷请求的预填充队列。
推荐理由：通过区分冷热请求并引入三级 KV cache 层次，在长上下文混合负载下将可持续 QPS 提升约 35–40%。
Meta Engineering · AI精选AI 评分7272 Meta 开源 RCCLX：面向 AMD 平台的 GPU 通信增强库
Meta 开源 RCCLX（基于 RCCL 的增强版），集成 Torchcomms 并将 CTran 移植到 AMD 平台，支持 AllToAllvDynamic 等特性。新增 Direct Data Access 与低精度集合通信，在 MI300X 上解码小消息延迟降低 10–50%，前向计算加速 10–30%，端到端推理延迟下降约 9–10%、吞吐提升约 7%，GSM8K 偏差约 0.3%。
推荐理由：原文给出 AMD 平台通信库的能力变化与量化结果，读者可据此评估 RCCLX 对现有训练与推理工作流的实际影响。
Together AI精选AI 评分6262 Consistency Diffusion Language Models：推理加速最高 14 倍且质量不下降
Together AI 提出 CDLM 训练方案，让扩散语言模型在块因果掩码下做多 token 最终化并启用精确块级 KV 缓存。实验显示 CDLM–Dream 在 GSM8K-CoT 与 MBPP-Instruct 上分别提速 11.2x 与 14.5x，多数任务精度变化很小。
推荐理由：通过训练让扩散语言模型在块内自回归解码并启用精确 KV 缓存，在保持质量的同时显著减少推理步数与延迟。
Together AI精选AI 评分6262 Together AI 推出 Dedicated Container Inference，定制模型推理速度最高提升 2.6 倍
Together AI 发布 Dedicated Container Inference，支持用户以 Docker 容器方式部署自定义生成式媒体模型，并由平台负责自动扩缩容、队列、流量隔离与监控。客户实测视频生成等任务推理速度提升 1.4–2.6 倍；在 Together GPU Cloud 训练的模型可直接部署，无需传输产物。
推荐理由：原文给出了能力变化和开放入口，读者可以据此判断它会怎样改变现有工作流。
Ollama Blog精选AI 评分7676 Ollama 兼容 Anthropic API，Claude Code 可使用开源模型
Ollama v0.14.0 起兼容 Anthropic Messages API，Claude Code 可通过 --model 指定本地模型（如 gpt-oss:20b、qwen3-coder）或云端模型（如 glm-4.7:cloud、minimax-m2.1:cloud）运行，并支持工具调用、流式对话、系统提示与视觉输入。
推荐理由：Ollama 兼容 Anthropic API 后，Claude Code 可直连本地或云端开源模型，为开发者提供无需切换平台即可替换模型的选择。
Mistral AI精选AI 评分8787 Mistral 3 发布：涵盖 Ministral 3 与 Mistral Large 3 的开源模型家族
Mistral 3 包含 Ministral 3（3B/8B/14B）与 Mistral Large 3（41B 活跃/675B 总参数稀疏 MoE），全部 Apache 2.0 开源。
推荐理由：Mistral 3 同时覆盖从边缘到数据中心的稠密与稀疏 MoE 模型，并给出 NVFP4 checkpoint 与多平台部署入口，读者可据此评估自托管与云端方案的成本与性能取舍。
Ollama Blog精选AI 评分6262 Ollama 发布 NVIDIA DGX Spark 性能测试结果
Ollama 在 DGX Spark 固件 580.95.05 与 Ollama v0.12.6 下测试 gpt-oss、gemma3、llama3.1、deepseek-r1、qwen3 等模型的 prefill 与 decode 速度，并给出固件升级与安装命令。
推荐理由：原文给出 DGX Spark 上多模型的量化与速度数据，读者可据此评估本地部署的吞吐与显存匹配度。
Ollama Blog精选AI 评分6060 Ollama 推出云端模型预览
Ollama 发布云端模型预览功能，支持在数据中心硬件上运行本地无法容纳的大型模型，同时保持本地工具体验和 OpenAI 兼容 API。可用模型包括 qwen3-coder:480b-cloud、gpt-oss:120b-cloud、gpt-oss:20b-cloud 和 deepseek-v3.1:671b-cloud，需登录 ollama.com 使用。
推荐理由：本地工具链无缝接入云端大模型，读者可据此评估在不更换工作流的前提下扩展模型规模的可行性。