llama-bench
PulseAugur coverage of llama-bench — every cluster mentioning llama-bench across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
为旧款GPU上的本地编码测试MoE模型
本文评估了在GTX 1080 Ti GPU上用于本地编码任务的混合专家（MoE）模型。作者测试了几种MoE模型，包括Qwen3.8-Flash-Next和Qwen3.8-35B-A3B-Q4_K_M，评估了它们在自然语言和Go代码数据集上的困惑度，以及使用llama.cpp和llama-bench生成的速度。Qwen3.8-35B-A3B-Q4_K_M模型出人意料地表现最佳，以30 tokens/sec的速度在15分钟内完成了一项编码…
-
AI基准测试工具：自定义构建与现有解决方案的探索
一个专注于AI硬件和模型性能的博客作者调查了他们的自定义基准测试工具是否必要，或者是否可以使用现有解决方案。他们发现，像Linus Tech Tips和Gamers Nexus这样的硬件评测网站虽然开发了复杂的框架，但这些框架主要设计用于GPU和游戏工作负载，而非LLM。同样，像MLPerf Client和Procyon这样的厂商无关AI基准测试套件受限于固定的模型列表，并且不支持多轮代理任务。尽管存在像llama-bench和lla…
-
llama-bench 针对闪存注意力和 GPU 层数进行了默认值更正
最近为 llama-bench 工具发布的 b9437 版本更正了与闪存注意力和 GPU 层数相关的默认设置。此前，该工具即使在兼容硬件上也将闪存注意力硬编码为关闭，并为 GPU 层数使用了旧的哨兵值。此次更新现在将闪存注意力默认设置为在 सक्षम 硬件（CUDA、Metal、Vulkan）上自动激活，并将 GPU 层数设置为 -1，与其他 llama.cpp 工具（如 llama-server 和 llama-cli）保持一致。此…
-
用户在 R9700 硬件上对 Qwen3 模型进行基准测试
一位用户使用 Qwen3 模型（特别是 Qwen3-8B、Qwen3-14B 和 Qwen3-32B）在各种硬件配置上进行了性能测试。测试使用了 llama-bench 和自定义基准设置，结果详见链接文章和图片。用户正在寻求社区关于比较本地 LLM 设置硬件和配置的有效基准测试方法的意见。
-
LocalLLaMA 用户寻求将 MTP 集成到 llama-bench
r/LocalLLaMA 子版块的用户正在寻求解决方案，将 llama-bench 与 MTP 集成，因为适用于 llama-server 的标准方法似乎不起作用。核心问题似乎是兼容性，有人猜测 llama-bench 可能不支持投机解码。