Don't Repeat Yourself (DRY)

新的DRY方法显著减少了LLM文本生成中的逐字循环

研究人员开发了一种名为“Don't Repeat Yourself”（DRY）的新方法，以防止大型语言模型在文本生成过程中陷入逐字循环。与关注标记重复的现有惩罚不同，DRY专门惩罚一个标记，如果包含该标记会导致模型重复先前生成的跨度。该技术已被证明可以在各种模型和提示中将循环减少高达47%，同时还能提高词汇多样性并保持在关键基准上的性能。DRY方法已集成到流行的开源LLM推理框架中，表明了其实用性。