实体
qwen3-8b-q4_k_m.gguf
qwen3-8b-q4_k_m.gguf
PulseAugur coverage of qwen3-8b-q4_k_m.gguf — every cluster mentioning qwen3-8b-q4_k_m.gguf across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
通过推理时扩展技术提升小型LLM的推理能力
本文详细介绍了在无需额外训练的情况下，提高本地运行的小型大型语言模型（LLM）的推理能力的方法。作者Sebastian Raschka解释了自洽性和验证器循环等技术，这些技术利用推理时增加的计算能力来提高准确性。通过多次采样响应，并采用多数投票或使用外部验证器（如单元测试或模式验证）来选择最佳答案，模型在可验证任务上的性能可以得到显著提升。该帖子还提供了有关设置推理服务器的实用建议，例如使用带有并行槽的`llama.cpp`，以有效管…
-
llama-bench 针对闪存注意力和 GPU 层数进行了默认值更正
最近为 llama-bench 工具发布的 b9437 版本更正了与闪存注意力和 GPU 层数相关的默认设置。此前，该工具即使在兼容硬件上也将闪存注意力硬编码为关闭，并为 GPU 层数使用了旧的哨兵值。此次更新现在将闪存注意力默认设置为在 सक्षम 硬件（CUDA、Metal、Vulkan）上自动激活，并将 GPU 层数设置为 -1，与其他 llama.cpp 工具（如 llama-server 和 llama-cli）保持一致。此…