实体
llama-bench
llama-bench
PulseAugur coverage of llama-bench — every cluster mentioning llama-bench across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
llama-bench 针对闪存注意力和 GPU 层数进行了默认值更正
最近为 llama-bench 工具发布的 b9437 版本更正了与闪存注意力和 GPU 层数相关的默认设置。此前，该工具即使在兼容硬件上也将闪存注意力硬编码为关闭，并为 GPU 层数使用了旧的哨兵值。此次更新现在将闪存注意力默认设置为在 सक्षम 硬件（CUDA、Metal、Vulkan）上自动激活，并将 GPU 层数设置为 -1，与其他 llama.cpp 工具（如 llama-server 和 llama-cli）保持一致。此…
-
用户在 R9700 硬件上对 Qwen3 模型进行基准测试
一位用户使用 Qwen3 模型（特别是 Qwen3-8B、Qwen3-14B 和 Qwen3-32B）在各种硬件配置上进行了性能测试。测试使用了 llama-bench 和自定义基准设置，结果详见链接文章和图片。用户正在寻求社区关于比较本地 LLM 设置硬件和配置的有效基准测试方法的意见。
-
LocalLLaMA 用户寻求将 MTP 集成到 llama-bench
r/LocalLLaMA 子版块的用户正在寻求解决方案，将 llama-bench 与 MTP 集成，因为适用于 llama-server 的标准方法似乎不起作用。核心问题似乎是兼容性，有人猜测 llama-bench 可能不支持投机解码。