GCPO

新的GCPO框架通过几何感知不确定性改进LLM的后训练

研究人员开发了一个名为几何感知校准策略优化（GCPO）的新框架，以改进大型语言模型的后训练方法。目前使用语义熵作为不确定性信号的方法在优化中的影响不稳定且不明确。GCPO通过整合几何感知度量和基于奖励的校准来解决这个问题，以更好地捕捉语义分歧并将不确定性与学习信号强度对齐。实验表明，GCPO能更准确地跟踪梯度变化，并持续提升后训练性能。