Min Peng
PulseAugur coverage of Min Peng — every cluster mentioning Min Peng across labs, papers, and developer communities, ranked by signal.
-
新的方差校准调制技术改进了LLM生成
研究人员开发了一种新颖的技术——方差校准调制（VCM），以提高大型语言模型（LLM）在开放式生成中的性能。VCM解决了LLM陷入“似然陷阱”的常见问题，该问题会导致输出重复且乏味。通过在解码前动态重塑概率分布，VCM提高了token的多样性和连贯性，尤其是在较高温度下，且计算成本没有显著增加。该方法与现有的解码策略无缝集成，并在包括事实问答和数学推理在内的各种任务中显示出持续的改进。
-
新的VCM技术可解决LLM重复和呆板问题
研究人员推出了一种名为方差校准调制（VCM）的新颖技术，旨在提高大型语言模型（LLM）的开放式生成能力。VCM解决了LLM常陷入“似然陷阱”的问题，该问题会导致生成重复且呆板的文本。该方法采用两种动态机制：通过PMI的上下文搜索灯来增强相关标记并抑制全局停用词，以及基于实时logit标准差的自适应自偏差以实现尺度不变惩罚。VCM在开放式生成、事实问答和数学推理等各种任务中进行了测试，在计算开销极小的情况下，始终提高了多样性、连贯性和推理准确性。
-
LLM 采样参数详解：Temperature、Top-P、Top-K 和 Min-P
本文解释了如何有效调整大型语言模型（LLM）中使用的采样参数，以实现期望的输出特性。文章详细介绍了四种常用参数：temperature、top-p、top-k 和 min-p，并解释了每个参数如何修改 token 生成的概率分布。该帖子旨在帮助开发者为其特定用例选择合适的参数，超越可能不适合生产环境的默认设置。
-
新指标揭示LLM采样过滤器压制语言多样性
一项名为词汇覆盖率得分（WCS）的新指标已被引入，用于评估大型语言模型（LLM）的标准采样过滤器如何无意中减少语言多样性。WCS量化了诸如Top-p和Top-k之类的采样方法对上下文适宜的、低频人类词汇的修剪。研究表明，这些默认的采样参数可以充当审查机制，导致文本同质化，并抹平独特的人类表达。