PromptEditor.tsx

小型 LLM Qwen2.5 3B Instruct 在生成大型 JSON 数据集时会重复

在 Apple M1 芯片上运行的小型语言模型 Qwen2.5 3B Instruct，在被要求生成大型 JSON 数据集时表现出重复行为。当提示创建大约 40 行或更多时，模型开始复制自己先前的输出，形成相同的句子循环。即使温度设置为 0.8，这个问题仍然存在，因为模型为重复句子中的标记分配了接近确定的概率，阻止其偏离并生成新内容。使用日语提示会加剧这个问题，导致更严重的重复。