研究人员推出 PRISM，一个旨在增强大型语言模型 (LLM) 所生成输出多样性的新颖训练时框架。PRISM 通过将多样性直接整合到模型的训练过程中来解决模式崩溃问题，即 LLM 倾向于产生重复或过于熟悉的内容。该框架结合了提示-解决方案对的子模组化策展和随机嵌入调制，以鼓励生成不同的输出。在 WritingPrompts 和 BookMIA 等基准测试上的实验表明，PRISM 提高了生成质量和语义多样性，优于现有方法，并通过维持多样化的推广为强化学习提供了更 robust 的基础。 AI
影响 通过提高输出多样性和实现更好的强化学习来增强 LLM 的能力。
排序理由 详细介绍 LLM 训练新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
