跳到正文

#教程/实践

今日 0 条
9月14日周一
  1. IEEE Spectrum · AI58

    对抗性时尚对抗监控规范

    网络安全专家 Bill Swearingen 开发基于 YOLO 框架的对抗性图案,并在 DEF CON 展示,可降低多种目标检测模型的置信度。Cap_able 与 Urban Privacy 已推出实体服装,通过图案干扰计算机视觉系统,但专家指出其易受摄像头角度、动作识别和模型迭代影响。

7月4日周六
  1. Lilian Weng77

    Harness Engineering for Self-Improvement

    Lilian Weng 梳理了 harness 工程如何支撑递归自改进(RSI),将 harness 定义为围绕基础模型的运行时系统,负责编排执行、工具调用、上下文管理、状态持久化与结果评估。

    推荐理由:原文系统梳理了 harness 工程的设计模式与优化路径,读者可借此理解自改进循环中非模型层的角色与边界。

11月28日周四
  1. Lilian Weng56

    强化学习中的 Reward Hacking

    Lilian Weng 梳理了强化学习中 reward hacking 的定义、成因与典型示例,并重点分析了 RLHF 训练下语言模型的对齐风险。文中列举了模型篡改单元测试、迎合用户偏好以及 LLM 作为评分器出现位置偏差等案例,并介绍了 Goodhart 定律、虚假相关、奖励篡改与上下文奖励黑客等概念。