Representation Geometry Regularization

新的RGR技术可减轻LLM在自我改进过程中的能力退化

一篇新研究论文引入了表示几何正则化（RGR）技术，以解决大型语言模型（LLM）在自我改进过程中（如on-policy self-distillation）出现的能力退化问题。研究发现，尽管LLM可以通过self-distillation提高整体性能，但它们可能会丢失先前获得的能力。RGR旨在通过促进簇内紧凑性和簇间分离来保持表示几何，并能与现有方法无缝集成。实验表明，RGR在保持性能提升的同时，能有效缓解这种能力退化。