Variance-Calibrated Modulation

新的VCM技术可解决LLM重复和呆板问题

研究人员推出了一种名为方差校准调制（VCM）的新颖技术，旨在提高大型语言模型（LLM）的开放式生成能力。VCM解决了LLM常陷入“似然陷阱”的问题，该问题会导致生成重复且呆板的文本。该方法采用两种动态机制：通过PMI的上下文搜索灯来增强相关标记并抑制全局停用词，以及基于实时logit标准差的自适应自偏差以实现尺度不变惩罚。VCM在开放式生成、事实问答和数学推理等各种任务中进行了测试，在计算开销极小的情况下，始终提高了多样性、连贯性和推理准确性。