研究人员开发了一种名为“带动量的文本随机梯度下降”（TSGD-M）的新方法，以提高大型语言模型提示优化的可扩展性和稳定性。该技术解决了诸如上下文长度限制和简单增加训练数据带来的收益递减等挑战。TSGD-M通过动量采样和自举小批量验证精度重新加权更新，使其能够在不扩展输入上下文窗口的情况下探索过去表现良好的提示。该方法与现有的提示优化框架集成，并在六个基准测试中显示出一致的改进。 AI
影响 通过提高可扩展性和稳定性来增强LLM提示工程，可能导致更有效和高效的模型微调。
排序理由 关于LLM提示优化新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
