LinkBERT:通过文档链接改进语言模型预训练
summary_zh: LinkBERT 提出在语言模型预训练中利用文档链接(如超链接和引用链接),以捕捉文档间的依赖关系。传统预训练方法逐文档独立建模,而 LinkBERT 通过链接将相关文档联合训练,使模型能学习跨文档的知识关联。
summary_zh: LinkBERT 提出在语言模型预训练中利用文档链接(如超链接和引用链接),以捕捉文档间的依赖关系。传统预训练方法逐文档独立建模,而 LinkBERT 通过链接将相关文档联合训练,使模型能学习跨文档的知识关联。
summary_zh: Stanford AI Lab 在 ACL 2022(5 月 22 日—27 日)发表了多篇论文,涵盖 LinkBERT 文档链接预训练、BERT 词序分析、余弦相似度偏差、摘要忠实性与抽象性权衡、无参考文本生成评估偏差,以及 TABI 类型感知双编码器实体检索。
summary_zh: Stanford AI Lab 在 ICLR 2022(4 月 25 日至 29 日线上举办)发表了多篇论文,涵盖自主强化学习、上下文分布偏移数据集 MetaShift、基于贝叶斯推理的上下文学习解释、GreaseLM 图推理语言模型、大规模模型编辑以及基于视觉的机械臂手部感知。
summary_zh: 斯坦福 AI Lab 提出 Domino 方法,通过跨模态嵌入发现机器学习模型在特定数据切片上的系统性错误,并配套了定量评估框架。高整体准确率的模型常在具有共同特征的验证数据切片上表现显著不佳,识别这些切片对模型部署、调试和鲁棒性优化至关重要,尤其在医疗等安全关键场景中能避免严重的安全与公平性问题。
斯坦福AI Lab探讨用强化学习自动评分学生编程作业游戏的可行性,指出互动编码作业评分面临状态空间大、奖励稀疏等挑战,并提出 Play to Grade Challenge。
Stanford AI Lab 发布博客系列第 1 部分,分析自训练(self-training)这一半监督学习与域适应算法范式。核心思路是用已有分类器在无标签数据上生成伪标签,再用伪标签从头训练新分类器,实践中新模型常比伪标签器更准。
summary_zh: Stanford AI Lab 在 2 月 22 日至 3 月 1 日线上举办的第 36 届 AAAI 人工智能会议上发表多篇论文并做报告,涵盖合作多智能体 bandit、约束采样强化学习、卫星图像大规模计数、合成虚假信息攻击事实核查系统、稀有概念主动学习等方向。
summary_zh: 斯坦福 Alexa Prize 团队基于 Chirpy Cardinal 在 Alexa Prize Socialbot Grand Challenge 3 的交互数据,发布三篇 SIGDIAL 2021 论文,分别针对用户抱怨优化神经生成对话、处理不当用户行为的策略,以及调整用户与机器人之间的对话控制权平衡。
斯坦福 SAIL 与 CRFM 合作研究指出,机器人学习中的奖励函数并非免费,硬编码奖励通常任务特定且难以扩展。文章探索利用网络上的语言与视频作为监督信号,结合大规模多样化数据集与离线学习算法,以降低对专家数据的依赖,提升机器人在陌生环境中的泛化能力。
summary_zh: Stanford AI Lab 将 NeurIPS 论文 BanditPAM 开源,通过多臂赌博机将 k-medoids 聚类算法从 O(n²) 加速至 O(n log n)。
summary_zh: Stanford AI Lab 在 NeurIPS 2021(12 月 6 日至 14 日线上举办)期间于主会场、数据集与基准赛道及多个研讨会展示了研究成果。
summary_zh: Stanford AI Lab 多篇论文被 EMNLP 2021 与 CoNLL 2021 录用,涵盖语言生成、语用校准、命名实体消歧、合同自然语言推理、形状偏差涌现、无监督语法纠错等方向。
summary_zh: Stanford AI Lab 在 CoRL 2021 录用多篇论文,涵盖语言指令机器人、共享自主、具身智能基准、人机协作模仿学习、可微渲染与声音识别、基于示例的模型强化学习等方向。
斯坦福 AI Lab 研究发现,选择性分类虽能提升平均准确率,但可能对某些子群体无效甚至有害。以胸片诊断胸腔积液为例,模型依赖胸腔引流管这一虚假相关信号,导致对尚未治疗的关键子群体识别不准。
summary_zh: Stanford AI Lab 公布 ICCV 2021 录用论文列表,涵盖 GLoRIA 多模态医学图像识别、Point-Voxel Diffusion 3D 形状生成与补全、CAPTRA 类别级位姿跟踪、Human-Object Relationships 视频检测、Geography-Aware 自监督学习及 HuMoR 3D 人体运动模型。
summary_zh: jiant 2.0 是一个基于 Python 的自然语言理解研究库,支持 GLUE、SuperGLUE 和 XTREME 等基准任务,兼容 BERT、RoBERTa、ALBERT、ELECTRA、XLM-R 等 transformers 模型。
summary_zh: NYU CILVR 团队提出基于损失-数据曲线的表示质量评估框架,引入盈余描述长度(SDL)作为新度量,衡量学习算法在给定数据分布下的学习复杂度。
summary_zh: 研究用影响函数筛选 SNLI 训练集以优化 RoBERTa 在 MNLI 上的迁移学习效果。保留高或低影响分的样本均导致性能显著下降,仅中等排名样本与随机下采样相当或略好。
MiniBERTas 是基于 RoBERTa 的模型系列,使用 1M、10M、100M、1B tokens 的 BERT 预训练数据集子集训练,通过 HuggingFace Transformers 或 jiant 可用。
summary_zh: NYU CILVR 是由 11 位正教授和 7 位附属教授领导、50 多名成员组成的机器学习实验室,覆盖计算机视觉、自然语言处理、神经科学、机器人等 AI 核心领域。