Min Peng
PulseAugur coverage of Min Peng — every cluster mentioning Min Peng across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新的VCM技术可解决LLM重复和呆板问题
研究人员推出了一种名为方差校准调制（VCM）的新颖技术，旨在提高大型语言模型（LLM）的开放式生成能力。VCM解决了LLM常陷入“似然陷阱”的问题，该问题会导致生成重复且呆板的文本。该方法采用两种动态机制：通过PMI的上下文搜索灯来增强相关标记并抑制全局停用词，以及基于实时logit标准差的自适应自偏差以实现尺度不变惩罚。VCM在开放式生成、事实问答和数学推理等各种任务中进行了测试，在计算开销极小的情况下，始终提高了多样性、连贯性和推理准确性。
-
LLM 采样参数详解：Temperature、Top-P、Top-K 和 Min-P
本文解释了如何有效调整大型语言模型（LLM）中使用的采样参数，以实现期望的输出特性。文章详细介绍了四种常用参数：temperature、top-p、top-k 和 min-p，并解释了每个参数如何修改 token 生成的概率分布。该帖子旨在帮助开发者为其特定用例选择合适的参数，超越可能不适合生产环境的默认设置。
-
New metric reveals LLM sampling filters suppress linguistic diversity
A new metric called the Word Coverage Score (WCS) has been introduced to assess how standard sampling filters in Large Language Models (LLMs) unintentionally reduce linguistic diversity. The WCS quantifies the pruning o…