Hugging Face Blog·· 27 天前精选AI 评分67
用 TRL 和 OpenEnv 训练代码生成水彩画模型
Training a coding model to paint watercolours with TRL and OpenEnv
AI 导读
作者用 TRL + OpenEnv 复现 Surya Narreddi 的水彩画训练流水线，全部工件开源并在 Hugging Face 上端到端运行。奖励函数由编译门、代码长度、Qwen3-VL 配对裁判和 HPSv3 美学偏好组成，三组奖励混合（judge-led / hps-led / hps-only）对比显示，裁判权重越高起始奖励越低但最终质量提升越明显。
推荐理由
原文给出了完整开源流水线和三次奖励对比，读者可据此复现并迁移到其他审美偏好数据集。
来源：Hugging Face Blog · huggingface.co