Wikimedia main page
PulseAugur coverage of Wikimedia main page — every cluster mentioning Wikimedia main page across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新的方差校准调制技术改进了LLM生成
研究人员开发了一种新颖的技术——方差校准调制（VCM），以提高大型语言模型（LLM）在开放式生成中的性能。VCM解决了LLM陷入“似然陷阱”的常见问题，该问题会导致输出重复且乏味。通过在解码前动态重塑概率分布，VCM提高了token的多样性和连贯性，尤其是在较高温度下，且计算成本没有显著增加。该方法与现有的解码策略无缝集成，并在包括事实问答和数学推理在内的各种任务中显示出持续的改进。
-
优化 AI API 使用：关键参数与成本节约误区
来自 dev.to 的两篇文章为使用 AI API 的开发者提供了实用建议，重点关注成本优化和性能提升。第一篇文章详细介绍了五个关键 API 参数——temperature、max_tokens、top_p、frequency_penalty 和 stream——这些参数可以提高 AI 应用速度、降低费用并提高输出质量。第二篇文章指出了导致 AI API 成本高昂的三个常见错误：缺乏速率限制、忽略对重复提示的缓存以及为简单任务使用昂贵…
-
LLM采样：为什么你只应该调整温度或Top-P
文章解释了大型语言模型中温度（temperature）和top-p（nucleus sampling）采样的不同功能，并警告不要同时使用两者。温度会重新调整词元（token）的概率分布，影响所有词元的几率；而top-p通过保留累积概率达到阈值之前最有可能的词元来截断分布。同时使用这两个参数会导致不可预测的交互，并使模型行为的推理变得困难，因为它们的效果并非相互独立，且应用顺序通常无法控制。作者建议选择一个参数进行调整，并将另一个保留在…
-
LLM 采样参数详解：Temperature、Top-P、Top-K 和 Min-P
本文解释了如何有效调整大型语言模型（LLM）中使用的采样参数，以实现期望的输出特性。文章详细介绍了四种常用参数：temperature、top-p、top-k 和 min-p，并解释了每个参数如何修改 token 生成的概率分布。该帖子旨在帮助开发者为其特定用例选择合适的参数，超越可能不适合生产环境的默认设置。
-
新的 Qrita 算法提高了 LLM 采样效率
研究人员开发了 Qrita，这是一种旨在提高大型语言模型中 Top-k 和 Top-p 采样效率的新型算法。通过采用基于高斯的 sigma 截断和四元枢轴搜索，Qrita 在确保确定性输出的同时，显著减小了搜索空间和内存使用量。这种新方法已被集成到 vLLM 中作为默认采样器，与现有的高性能 LLM 执行引擎相比，服务吞吐量提高了 1.4 倍。
-
新指标揭示LLM采样过滤器压制语言多样性
一项名为词汇覆盖率得分（WCS）的新指标已被引入，用于评估大型语言模型（LLM）的标准采样过滤器如何无意中减少语言多样性。WCS量化了诸如Top-p和Top-k之类的采样方法对上下文适宜的、低频人类词汇的修剪。研究表明，这些默认的采样参数可以充当审查机制，导致文本同质化，并抹平独特的人类表达。