Transformers 支持运行 llama.cpp GGUF 量化模型
Hugging Face 的 transformers 库新增 GGUF 模型支持,用户可通过熟悉的 API 在 Apple Silicon Mac 上运行 llama.cpp 量化 checkpoint。
推荐理由:transformers 新增 GGUF 支持,在 Apple Silicon 上通过熟悉 API 运行量化模型,性能接近 llama.cpp,为本地推理提供便捷入口。
开源模型、框架与仓库动态:权重开放、社区项目爆火、开源与闭源的力量消长。
Hugging Face 的 transformers 库新增 GGUF 模型支持,用户可通过熟悉的 API 在 Apple Silicon Mac 上运行 llama.cpp 量化 checkpoint。
推荐理由:transformers 新增 GGUF 支持,在 Apple Silicon 上通过熟悉 API 运行量化模型,性能接近 llama.cpp,为本地推理提供便捷入口。
Multiverse Computing 将 LLM 深度剪枝重构为约束二元优化问题,等价于全耦合伊辛自旋玻璃,用 Hessian 能量作为下游质量代理,避免逐条评测。
推荐理由:把深度剪枝重新表述为伊辛自旋玻璃优化问题,可用廉价能量代理替代逐条评测,且与量化、低秩压缩等手段堆叠。
Hugging Face 发布 tokenizers v1 预览版,在 Apple M4 Max 上单线程编码速度比 v0.23 快 3 到 30 倍,8 线程扩展效率达 76%。主要改进包括 bitcannon 位流分词、线程本地词缓存、无分配合并循环和批量模型调用,且输出 token ID 与 v0.23 完全一致。
推荐理由:原文给出了速度提升和开放入口,读者可以据此判断它会怎样改变现有工作流。
Jev 发布两天内获得 3600 万次视频观看,涌现 ModernBert、DiffusionGemmaJev、Bespoke Nimble、SemIf、Jevlike、Kev-0.5B 等复现;Bespoke Nimble 在评测中将 Qwen3.5 基线从 66% 提升至 90%,Kev-0.5B 可在 MacBook Pro 运行。数据被承认 100% 合成,且尚无该类模型的标准基准。
推荐理由:原文梳理了 Jev 类判别式决策模型的复现生态与浏览器自动化集成路径,读者可借此判断工作流控制平面的近期走向。
Anthropic 在 Claude Code 推出 Projects,支持单对话衍生多云线程并传递上下文;Google 更新 Gemini managed agents,增加 Credentials 和 Files API 并声称成本下降 30%、缓存命中提升 22%;OpenAI 发布 Astra for Law 垂直包装。
推荐理由:多线程协调、判断原语和可验证评测等讨论,为理解 Agent 运行时架构的下一层演进提供了可迁移的技术视角。
NVIDIA 官方发布 Vera Rubin NVL72 在 MLPerf Inference v6.1 的预览结果,在 DeepSeek-R1 和 Qwen3-VL 上分别较 GB300 NVL72 提升最高 2.5x 和 3.7x 吞吐。
推荐理由:NVIDIA 官方公布 Vera Rubin NVL72 在 MLPerf Inference v6.1 的首秀成绩,读者可据此对比新旧平台推理吞吐与扩展效率。
Apple ML Research 提出共享选择性持久记忆架构,识别并保留任务规格、数据模式、工具配置和输出约束四类可复用上下文,丢弃会话特定推理轨迹。该记忆可在工作空间间通过基于角色的访问控制共享,实现协作复用。
推荐理由:选择性记忆架构在三个企业场景中任务完成率从79%提升至96%,为多轮工具调用的上下文管理提供了可复用的工程路径。
NVIDIA 在 AI Infra Summit 公布 Vera Rubin NVL72 与 DSX 平台新成果,MLPerf Inference v6.1 中 Vera Rubin NVL72 较 GB300 NVL72 吞吐量提升最高 3.7 倍,DSX MaxLPS 在相同功耗下集群 token 吞吐量提升 24%、每瓦性能提升 23%。
推荐理由:AI基础设施的关键指标正从峰值性能转向每兆瓦智能体token数,读者可据此评估自身AI工厂的能效与扩容空间。
费城儿童医院使用 MONAI 等开源工具,将儿童心脏建模时间从数小时缩短到秒级,已用于术前规划和部分手术。波士顿儿童医院将建模用于约半数心脏手术,医院间正组建开源联盟。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Together AI 升级微调平台,新增 GLM-5.3、Kimi K2.7、DeepSeek-V4-Flash、Qwen 3.8-27B、Gemma 4 等开源模型支持,并引入实验实时追踪、Expert LoRA、早停、任意批量大小、样本权重、预飞行校验与打包控制等功能。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Google Research 提出 ToolGrad 框架,先生成真实的工具使用链再反推用户提示,仅需单步 LLM 调用即可完成标注。
推荐理由:提出 answer-first 的 ToolGrad 框架,以文本梯度迭代构建工具链,为高效生成高质量工具使用数据提供了可迁移的新范式。
Together AI 内核团队在 Vera Rubin NVL72 上扩展 ThunderKittens,支持 NVFP4 与 FP8 GEMM,并通过双 K 步长、独占张量内存、更大共享内存、B 侧收集器与 Early A release 等优化,将 NVFP4 推至超 22 PFLOPS,与 cuBLAS 和 CuTE DSL 竞争。
推荐理由:原文给出了在 Vera Rubin 上优化 NVFP4/FP8 GEMM 的具体方法与性能数据,读者可迁移这些调优思路到自家 Rubin 部署。
Hugging Face 用 Gradio Workflow 重建了 AUTOMATIC1111 的核心功能,形成包含 11 条媒体管道、73 个节点的单一工作流画布,涵盖文生图、高分辨率修复、图生图、提示词矩阵、VLM 问答、检测到 inpaint 掩码、ControlNet 风格标注器、背景去除、PNG Info 读取和图生视频。
推荐理由:原文展示了用同一套画布串联多种模型与媒体管道的构建方式,读者可据此评估 gr.Workflow 在多模态工作流中的可复用性。
Together AI 发布开源 AI 栈指南,将栈分为模型、推理、网关与路由器、Harness、工具与上下文管理五层。推荐同时使用大模型(如 Kimi K3,1.8T 总参数)与小模型(如 GLM 5.3 Flash,320B 总参数)处理不同复杂度的任务,并可通过 OpenRouter、Vercel AI Gateway 或 LiteLLM 路由多提供商。
推荐理由:原文分层拆解开源 AI 栈各层组件与选型思路,开发者可按需组合模型、网关与工具。
NeoMME是260M和800M多模态原生多语言编码器,单塔双向Transformer从零训练,无需独立视觉塔或因果语言模型。260M模型在ViDoRe v3上达0.523 nDCG@10,超越同参数模型,编码速度约2倍于ColModernVBERT。通过分层池化和非对称量化,late-interaction存储从1.5MB压缩至6kB/页,压缩255倍且保留95%以上检索质量。
推荐理由:单塔多模态编码器以260M参数在ViDoRe v3上超越更大模型,并通过分层池化和非对称量化将多向量检索存储压缩255倍同时保留95%以上质量。
作者用 TRL + OpenEnv 复现 Surya Narreddi 的水彩画训练流水线,全部工件开源并在 Hugging Face 上端到端运行。奖励函数由编译门、代码长度、Qwen3-VL 配对裁判和 HPSv3 美学偏好组成,三组奖励混合(judge-led / hps-led / hps-only)对比显示,裁判权重越高起始奖励越低但最终质量提升越明显。
推荐理由:原文给出了完整开源流水线和三次奖励对比,读者可据此复现并迁移到其他审美偏好数据集。
作者用 GRPO 和 TRL 对 LFM2.5-350M 进行约 100 步微调,在 IFStruct 基准上从 22.6% 提升到 29.7%。方案使用约 500 条样本、3 个奖励函数,并在免费 Colab 或 Kaggle GPU 上可运行,代码已开源。
推荐理由:原文给出了一套可在免费 GPU 上复现的小模型结构化输出微调方案,读者能直接迁移该奖励函数与数据增强思路。
Hugging Face 发布 funes,为 Claude Code、Codex、pi、Hermes 等编程 agent 提供本地记忆层。它从本地 agent 会话日志构建索引与检索,默认在本地完成 embedding 与重排,也可绑定到你自己的 Hugging Face 数据集(默认私有)。
推荐理由:原文给出了本地记忆层的具体接入方式和成本对比,读者可以据此判断它能否解决跨机器换 agent 后上下文断裂的问题。
Hugging Face 发布 @huggingface/kernels 库及 Fleet 众测工具,提供 207 个 WebGPU 内核,覆盖矩阵乘法、Softmax、LayerNormalization 等操作。
推荐理由:Hugging Face发布207个WebGPU内核库,以版本化包形式提供可复用的GPU操作原语,并搭配Fleet众测平台收集真实硬件性能证据,为浏览器端本地AI推理奠定底层基础。
Verus 是开源的 Rust 自动化程序验证工具,可在 Rust 源码中直接添加规约与证明,使用类 Rust 语法并由多种求解器自动 discharge 证明义务。
推荐理由:原文展示了 Verus 在 Rust 代码验证中的具体用法和自动化能力,读者可据此理解形式化验证工具如何嵌入现有开发流程。