Qwen团队提出GSPO算法：更稳定高效的强化学习新方法

GSPO是什么？

2025年7月27日，阿里通义千问Qwen团队发布了一篇博客，介绍他们提出的新算法GSPO（Group Sequence Policy Optimization）。GSPO是一种用于训练语言模型的强化学习算法，目的是让AI在训练过程中更稳定、更高效地提升能力。

这个算法已经用在了最新的Qwen3系列模型上，帮助它们变得更聪明。目前官方没有说明是否开源，但论文已经发布在arXiv上。

为什么需要GSPO？

强化学习就像让AI通过试错来学习，就像小朋友通过不断尝试来学会骑自行车。但是，现有的强化学习算法（比如GRPO）在长时间训练时会出现不稳定的问题，甚至可能导致模型崩溃，就像骑车时突然失去平衡摔倒。

为了解决这个问题，Qwen团队提出了GSPO，它让AI的学习过程更加平稳，就像给自行车加上了辅助轮，让AI能持续进步而不容易出错。

GSPO的核心原理

GSPO的关键在于它从整个回答的层面来调整AI的行为，而不是像GRPO那样关注每一个小步骤。想象一下，GRPO像老师检查作业时逐字逐句地纠正，而GSPO则先看整篇作文的整体质量，再决定怎么改进。

具体来说，GSPO使用序列似然来计算重要性比率，并进行序列级别的裁剪和优化。这样做的优点是训练更高效，而且对计算精度要求不那么苛刻，让训练过程更简单。

GSPO的优势

根据博客中的实验，GSPO比GRPO训练效率更高，在同样的计算成本下能达到更好的性能。而且，GSPO在训练中非常稳定，即使增加计算量也能持续提升效果。

特别值得一提的是，GSPO解决了混合专家模型（MoE）训练中的稳定性问题。MoE模型就像一支专家团队，每个专家负责不同领域，但协调起来容易出乱子。GSPO让这个团队协作得更顺畅，不需要额外的复杂策略。

GSPO的应用与限制

GSPO已经成功应用于Qwen3系列模型的大规模强化学习训练，包括Instruct、Coder和Thinking版本。这证明了它的实用价值。

不过，原文没有说明GSPO是否开源，也没有提供详细的代码或实验数据。对于想自己尝试的开发者来说，可能需要等待官方进一步发布。

适合谁关注？

这个算法主要面向AI研究人员和工程师，尤其是那些关注强化学习、模型训练稳定性的专业人士。对于普通用户来说，了解GSPO有助于理解AI模型是如何变得更聪明的。

如果你对AI技术感兴趣，可以关注Qwen团队的后续发布，看看GSPO是否会开源，以及它如何影响未来的模型。