阿里千问于10月12日发布了QwenGyre，这是一种专为长程智能体任务设计的在线强化学习框架。根据官方介绍，QwenGyre旨在应对那些执行时间长达数小时且与环境之间存在复杂交互的任务，涉及数百轮的相互作用并需处理大量token。该框架通过灵活的调度和轨迹管理，将这类长程任务转化为有效的训练源，并显著提升模型的能力和效率。
QwenGyre可以将GPU划分为多个计算单元，当一批任务完成后，空闲单元将迅速投入到训练中，类似于项目中先完成的成员提前参与总结。而正在进行的任务不会受到影响，进度及状态会被保留，连先前计算的缓存也将完整搬移，无需从零开始。新空闲单元将直接加入当前训练环节，快速计算的单元能承担更多，最后将结果汇总，以完成参数更新。
此外，QwenGyre可以通过Token-in Token-out方式记录每段输出生成时的上下文信息，并根据共享前缀组织成轨迹树，仅展开选定路径作为训练样本。即便任务超时，但如果有部分完成，框架也会通过部分评分提供有价值的反馈，确保每一步努力都有意义。
在性能测试方面，官方在NL2RepoBench在线强化学习实验中，每次训练任务大约需70万个token，经过48步训练，模型通过率从52.5%提升至58.5%。在相同GPU预算下，QwenGyre相较于Async实现了1.78倍的端到端加速，训练分数与Async和Colocate接近。在Qwen3.6-122B的跨任务验证中，NL2RepoBench、DeepSWE和TerminalBench等任务均实现了端到端加速。
发表评论