NVIDIA Developer · AI· Elizabeth Goodman·· 3 小时前AI 评分23
用 Green Contexts 控制 GPU 工作共享方式
Control How Your GPU Shares Work with Green Contexts
AI 导读
NVIDIA 提出用 Green Contexts 控制 GPU 资源在多个并发组件间的共享方式。GPU 应用常在同一进程内同时运行延迟敏感算子与吞吐导向后台 kernel、数据预处理与模型推理,或共享同一 GPU 的多阶段工作流,而它们之间的资源共享一直难以控制。
来源:NVIDIA Developer · AI · developer.nvidia.com