PulseAugur
实时 08:06:41
English(EN) I ran Ternary-Bonsai-27B (2-bit) and Bonsai-27B (1-bit) on Terminal-Bench 2.0, in 8GB VRAM

Bonsai 27B 模型在 Terminal-Bench 2.0 上进行测试,1-bit 版本不可用

一位用户在 Terminal-Bench 2.0 基准测试中测试了 Ternary-Bonsai-27B (2-bit) 和 Bonsai-27B (1-bit) 模型,发现 2-bit 版本取得了 7.9% 的分数。这一性能低于 Qwen3.5-9B 模型,后者也适用于 8GB 显存。1-bit Bonsai 模型在代理场景下由于非终止问题而无法使用,尽管它在简单提示上表现尚可。 AI

影响 展示了极端量化与模型在代理任务中性能之间的权衡。

排序理由 用户在特定框架上对开源模型的基准测试。[lever_c_demoted from research: ic=1 ai=1.0]

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

Bonsai 27B 模型在 Terminal-Bench 2.0 上进行测试,1-bit 版本不可用

报道来源 [1]

  1. r/LocalLLaMA TIER_1 English(EN) · /u/Creative-Regular6799 ·

    我在 8GB 显存上于 Terminal-Bench 2.0 运行了 Ternary-Bonsai-27B (2位) 和 Bonsai-27B (1位)

    <table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1v1ya97/i_ran_ternarybonsai27b_2bit_and_bonsai27b_1bit_on/"> <img alt="I ran Ternary-Bonsai-27B (2-bit) and Bonsai-27B (1-bit) on Terminal-Bench 2.0, in 8GB VRAM" src="https://preview.redd.it/315dccgwageh1.jpe…