实体
Variance-Calibrated Modulation
Variance-Calibrated Modulation
PulseAugur coverage of Variance-Calibrated Modulation — every cluster mentioning Variance-Calibrated Modulation across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的方差校准调制技术改进了LLM生成
研究人员开发了一种新颖的技术——方差校准调制（VCM），以提高大型语言模型（LLM）在开放式生成中的性能。VCM解决了LLM陷入“似然陷阱”的常见问题，该问题会导致输出重复且乏味。通过在解码前动态重塑概率分布，VCM提高了token的多样性和连贯性，尤其是在较高温度下，且计算成本没有显著增加。该方法与现有的解码策略无缝集成，并在包括事实问答和数学推理在内的各种任务中显示出持续的改进。
-
新的VCM技术可解决LLM重复和呆板问题
研究人员推出了一种名为方差校准调制（VCM）的新颖技术，旨在提高大型语言模型（LLM）的开放式生成能力。VCM解决了LLM常陷入“似然陷阱”的问题，该问题会导致生成重复且呆板的文本。该方法采用两种动态机制：通过PMI的上下文搜索灯来增强相关标记并抑制全局停用词，以及基于实时logit标准差的自适应自偏差以实现尺度不变惩罚。VCM在开放式生成、事实问答和数学推理等各种任务中进行了测试，在计算开销极小的情况下，始终提高了多样性、连贯性和推理准确性。