fontange
PulseAugur coverage of fontange — every cluster mentioning fontange across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
LLM 解码策略：贪婪搜索、Beam Search、Sampling、Top-K 和 Top-P 详解
语言模型通过将概率分布转化为 token 序列来生成文本，不同的解码策略会导致不同的输出。贪婪解码在每一步选择最有可能的 token，这可能导致重复的文本。Beam search 保留多个序列以寻找整体上更好的句子，但可能产生平淡的结果。Sampling 方法，如 temperature、top-k 和 top-p（nucleus sampling），引入随机性以生成更多样化和富有创意的文本，现代模型通常将这些技术与重复惩罚相结合。
-
研究发现：AI模型系统性地排除类人令牌选择
一篇新研究论文《截断盲点》（The Truncation Blind Spot）发布在arXiv上，揭示了文本生成模型中使用的标准解码策略系统性地排除了类人令牌选择。这些策略，包括top-k、nucleus sampling和contrastive search，倾向于选择统计上更可能的令牌，从而忽略了人类自然使用的、在上下文中恰当但较少见的词语。这种被称为“截断盲点”的现象，在来自GPT-3.5 Turbo和Claude 3 Hai…
-
新研究分析MoE模型校准和不连续性 · 追踪4个来源
两篇新研究论文探讨了专家混合（MoE）模型的复杂性，特别是关于校准和不连续性。第一篇论文研究了专家级校准如何在分布变化下影响MoE性能，并提出了一种对抗性重加权方法来提高软路由模型的准确性和校准性。第二篇论文对稀疏专家混合（SMoE）架构中的不连续性进行了严格的几何和随机分析，发现低阶不连续性占主导地位，并提出了一种平滑机制来增强语言和视觉任务中的连续性和经验性能。
-
LLM 采样参数详解：Temperature、Top-P、Top-K 和 Min-P
本文解释了如何有效调整大型语言模型（LLM）中使用的采样参数，以实现期望的输出特性。文章详细介绍了四种常用参数：temperature、top-p、top-k 和 min-p，并解释了每个参数如何修改 token 生成的概率分布。该帖子旨在帮助开发者为其特定用例选择合适的参数，超越可能不适合生产环境的默认设置。
-
新的 Qrita 算法提高了 LLM 采样效率
研究人员开发了 Qrita，这是一种旨在提高大型语言模型中 Top-k 和 Top-p 采样效率的新型算法。通过采用基于高斯的 sigma 截断和四元枢轴搜索，Qrita 在确保确定性输出的同时，显著减小了搜索空间和内存使用量。这种新方法已被集成到 vLLM 中作为默认采样器，与现有的高性能 LLM 执行引擎相比，服务吞吐量提高了 1.4 倍。
-
新指标揭示LLM采样过滤器压制语言多样性
一项名为词汇覆盖率得分（WCS）的新指标已被引入，用于评估大型语言模型（LLM）的标准采样过滤器如何无意中减少语言多样性。WCS量化了诸如Top-p和Top-k之类的采样方法对上下文适宜的、低频人类词汇的修剪。研究表明，这些默认的采样参数可以充当审查机制，导致文本同质化，并抹平独特的人类表达。