TSGD-M

新的TSGD-M方法增强了LLM提示优化的可扩展性

研究人员开发了一种名为“带动量的文本随机梯度下降”（TSGD-M）的新方法，以提高大型语言模型提示优化的可扩展性和稳定性。该技术解决了诸如上下文长度限制和简单增加训练数据带来的收益递减等挑战。TSGD-M通过动量采样和自举小批量验证精度重新加权更新，使其能够在不扩展输入上下文窗口的情况下探索过去表现良好的提示。该方法与现有的提示优化框架集成，并在六个基准测试中显示出一致的改进。