跳到正文

#数据/训练

今日 8 条
今天9月30日周三
  1. arXiv · Statistics Machine Learning22

    LOCO-AdaMP:带内置 LOCO 推理的自适应小补丁集成与增强预测

    LOCO-AdaMP 提出一种自适应小补丁集成框架,在高维稀疏场景下通过 LOCO 重要性引导特征采样,在保留渐近有效特征重要性推断的同时提升预测性能。该方法无需数据切分或模型重训练,对基模型无关,适用于回归任务中的预测与推断。实验在合成与真实数据集上验证了其在预测、推断能力和稳定性上优于现有方法。

  2. arXiv · Databases18

    SAIVE:选择对 AI 分析有价值的数据实体

    SAIVE 提出一种基于直方图嵌套的过滤准则,从大型数据表中选取对 AI 分析更有价值的字段,假设底层数据服从 Zipf-Mandelbrot 幂律分布,并将指数 α 约束在合理范围内,作为无需专家参与的低成本筛选方法。该方法旨在解决企业数据湖字段冗余、难以用 AI 高效分析的问题,将在 IEEE MIT URTC 2026 发表。

  3. arXiv · Audio and Speech22

    Beyond Discrimination: Calibrated Geoprior Fusion for Bioacoustic Monitoring

    Perch 和 BirdNET 等生物声学基础模型虽能高精度识别物种,但置信度未经校准、难以解释为真实出现概率。研究利用 WABAD 全局标注声学数据集生成校准先验,并提出将声学预测与地理先验融合的新方法,在保持判别能力的同时改善校准性,为生物多样性监测提供更可靠的声学方案。

  4. arXiv · Artificial Intelligence36

    大语言模型微调是否必须依赖人类可读文本?DASA 方法通过激活梯度反馈优化连续嵌入实现等效或更优适配

    DASA 使用冻结参考模型的激活梯度反馈引导连续合成输入嵌入优化,直接用于下游微调而无需离散 token 投影。在 Llama 与 Qwen 家族 1B–32B 模型、6 个基准上,DASA 达到与自然文本数据相当或更优的性能,多数对比超越 GRADMM,并实现 3.6–4.9 倍加速、峰值 GPU 内存相当。

  5. arXiv · Databases30

    VADER:基于声明式召回的目标驱动近似过滤向量搜索

    VADER 首次为近似过滤向量搜索(FVS)引入声明式召回,用户只需指定期望召回目标,系统自动执行查询而无需手动调参。VADER 采用感知过滤器的召回预测器,在不同选择性与相关性下泛化,并在预测召回达到目标时提前终止。实验显示相比最优基线,VADER 速度提升最高 53%、结果质量提升 28%,实现近最优提前终止。

9月29日周二
9月28日周一
9月26日周六
9月24日周四
  1. Nature · Machine Learning41

    ResolVI:解决空间转录组学中的噪声与偏差问题

    summary_zh: ResolVI 是一个基于自动编码变分贝叶斯的概率框架,用于校正空间转录组数据中的分割与量化误差。它将观测计数建模为真实表达、邻近细胞扩散信号和背景噪声三部分,使用负二项分布和泊松分布分别建模,并通过高斯混合分布表示细胞状态的不确定性。

  2. Apple Machine Learning Research28

    Apple 压缩流式神经音频编码器:基于潜在空间蒸馏的端侧语音分词器方案

    Apple 研究提出通过潜在空间蒸馏压缩流式神经音频编码器,以预量化潜在表示作为监督目标,仅训练学生编码器回归教师逐帧潜在值。2.8× 压缩下,蒸馏学生在五个教师-学生对上相对 WER 保持在 1.9% 以内,且同等容量独立训练分词器提升 3.9%。该方案覆盖两种分词接口,无需微调。

  3. Nature · Machine Learning35

    DR-GEM 实现单细胞嵌入与注释的自监督机器学习

    DR-GEM 是一种自监督元算法,通过重构误差重新引导模型关注初始遗漏的模式,并利用平衡共识学习提升鲁棒性、过滤低质量数据。在合成与真实单细胞、空间转录组和 Perturb-seq 数据集上,DR-GEM 在获取可靠嵌入、恢复稀有细胞类型、过滤噪声、缓解细胞与患者层面代表性不足以及发现未见的遗传和空间特征方面优于现有方法。

  4. Apple Machine Learning Research34

    半监督联邦 ASR 的实用方案:在线伪标签与服务器更新稳定化

    Apple Machine Learning Research 提出半监督联邦 ASR 方案,通过在线伪标签与服务器端标注数据更新稳定化缩小与全监督联邦学习的差距。在 11 组对比中 9 组超越最强先验方法,域内平均提升 20.8%、跨域 10.0%。教师模型与锚定更新两条轴线相互耦合,锚定更新对数据增强和批量大小高度敏感。

9月19日周六
  1. Google Research34

    MilleMiglia:面向中段物流的真实实例生成器

    Google Research 推出 MilleMiglia,一个 C++ 实例生成器,用于构建中段物流网络的真实基准。中段物流覆盖区域或大陆尺度的配送中心间运输,占物流成本大头且影响时效,但学术研究长期缺乏公开高质量数据。MilleMiglia 在 GitHub 开源,通过隐私保护的方式捕捉中段运输的多车辆接力、时间窗口与分拣同步等约束,为后续优化研究提供基础。

9月18日周五
  1. Nature · Machine Learning26

    ConvexGating 从单细胞细胞术聚类中推断门控策略

    ConvexGating 从单细胞细胞术数据的聚类结果中推断最优门控策略,旨在将聚类得到的细胞群体转化为可用于分选的高纯度、低步骤门控方案。flow cytometry、mass cytometry(cyTOF)和 CITE-seq 等高维数据场景中,手动门控依赖操作者经验且存在跨操作者变异,而聚类方法虽能无偏分离细胞却难以直接转为分选策略。

9月17日周四
9月4日周五
8月28日周五
  1. MIT News · AI48

    超越自然序列:MIT 推出 PottsMPNN 蛋白质设计框架

    MIT 生物系推出 PottsMPNN 机器学习框架,融入物理原理以改进序列生成与突变稳定性预测。该模型通过引入噪声、氨基酸配对分布和进化相关序列训练,更好地理解序列-能量景观,能为无天然对应序列的全新设计结构生成可行序列。研究显示,减少对天然序列的依赖可提升结构兼容性与能量预测精度。

8月26日周三
8月25日周二
  1. MIT News · AI62

    MIT工程师开发η-learning工具,无需极端历史数据即可生成极端事件情景

    MIT工程师提出名为η-learning的机器学习方法,可在不含极端事件的历史数据中学习并生成统计上合理的极端情景,如百年一遇暴雨的可能位置、范围和强度。该方法结合点统计与空间地图约束,已应用于美国大陆极端降水模拟,相关论文发表于Nature Communications。

    推荐理由:该方法不依赖历史极端事件数据即可生成罕见情景,为城市和金融等领域的风险评估提供了可迁移的新工具。

8月21日周五
  1. Google Research35

    Google Research 的 ME-POIs 如何用移动性数据让语言模型更深入理解地点

    Google Research 提出 Mobility-Embedded POIs(ME-POIs)框架,把匿名聚合的移动性模式与 Gemini 的文本嵌入对齐,为地点生成兼顾身份与动态功能的嵌入向量。在公开基准上,该方法在访问意图预测上最高取得 81.9% 的相对提升,价格水平分类提升 75.1%,忙碌度估计准确率提升 24.7%。

8月10日周一
  1. Hugging Face Blog62

    高效知识蒸馏:离线 Top-K Logits 与融合分块 KL 损失

    Multiverse Computing 提出高效知识蒸馏方法,通过缓存教师模型 top-100 logits 与融合分块 KL 损失,避免构建全词汇表×序列矩阵,在单 H200 上把峰值显存从约 250GB 降至约 58GB,并在 32K 上下文下把蒸馏从四卡节点缩至单卡。代码已开源:github.com/CompactifAI/Full-Chunked-KL-Loss

    推荐理由:通过缓存 top-K logits 与融合分块 KL 损失两条改动,把蒸馏显存占用压到单卡可跑,为长上下文蒸馏提供了可复现的低成本路径。

7月23日周四
  1. Google Research65

    SymptomAI:迈向日常症状评估的对话式AI代理

    Google Research发布SymptomAI研究,基于Gemini Flash 2.0通过13,917人随机实验表明临床医生在超50%情况下更偏好其鉴别诊断,且主动询问策略显著优于被动回答。

    推荐理由:该研究通过一万三千余人的随机对照实验,为对话式AI症状评估提供了与临床医生横向比较的基准数据,并揭示了主动询问策略对诊断准确性的提升作用。

7月9日周四
6月25日周四
6月11日周四
5月19日周二
4月22日周三
4月16日周四
  1. Google Research56

    设计真实世界的合成数据集:机制设计与从第一原理推理

    Google Research 提出 Simula 框架,将合成数据生成重构为机制设计问题,通过推理驱动实现可控制的数据集构建。论文发表于 Transactions on Machine Learning Research,在网络安全、法律推理、数学等五个领域最多生成 512K 数据点,全系统一致优于简单基线,且高质量数据比单纯增加数量更有效。

12月30日周二
  1. Sebastian Raschka12

    LLM Research Papers: The 2025 List (July to December)

    Sebastian Raschka 整理了 2025 年 7 月至 12 月的 LLM 研究论文列表,涵盖推理模型、RLHF、推理时扩展、架构、高效训练、多模态与数据集等类别。该列表为其 Substack 付费订阅者的附加内容,正文仅浏览摘要、少数全文精读。原文未给出具体模型、参数、分数或速度倍数。

1月14日周日
8月12日周日