一项近期分析探讨了JSON语法掩码如何影响LLM采样多样性，发现提示词本身常常比掩码更能决定token的选择。当JSON schema包含在提示词中时，Qwen2.5-1.5B-Instruct和TinyLlama等模型表现出采样多样性崩溃，意味着可能token的核通常会缩减到单一选项。然而，研究表明，这种崩溃常常是由模型对提示词中schema的内在理解造成的，而不是语法掩码主动限制了选择。在实验中，当schema被排除在提示词之外时，语法掩码对核大小的影响更为显著，这表明提示词在引导LLM输出方面起着至关重要的作用。 AI
影响 理解提示词如何影响LLM输出多样性，对于开发结构化输出系统的开发者至关重要。
排序理由 对LLM行为和采样多样性的分析。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
