实体
Top-p sampling
Top-p sampling
PulseAugur coverage of Top-p sampling — every cluster mentioning Top-p sampling across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
理解LLM基础：Token、上下文窗口和温度
本文解释了大型语言模型（LLM）背后的基本概念，重点介绍了影响其文本生成能力的几个关键要素。文章详细说明了Token是什么，包括词、子词、短语和字符Token等不同类型，并介绍了字节对编码（BPE）作为一种常见的Token化方法。解释还涵盖了上下文窗口，它决定了LLM一次可以处理多少文本，以及更大的上下文窗口与计算成本之间的权衡。最后，文章简要介绍了温度作为控制LLM输出的随机性和平衡连贯性的参数。
-
研究发现：AI模型系统性地排除类人令牌选择
一篇新研究论文《截断盲点》（The Truncation Blind Spot）发布在arXiv上，揭示了文本生成模型中使用的标准解码策略系统性地排除了类人令牌选择。这些策略，包括top-k、nucleus sampling和contrastive search，倾向于选择统计上更可能的令牌，从而忽略了人类自然使用的、在上下文中恰当但较少见的词语。这种被称为“截断盲点”的现象，在来自GPT-3.5 Turbo和Claude 3 Hai…