PulseAugur
中
实时 04:31:18
English(EN) Agentic tool-use eval on a local 35B (Q8): trap-tool avoidance is solid, but I can't tell if my failures are the model or my harness

开发者测试本地 35B 模型 Agentic 工具使用，发现 harness 问题

作者 PulseAugur 编辑部 · [1 个来源] ·

一位开发者正在使用 llama.cpp 评估 ornith-1.0-35b-Q8_0 模型的 Agentic 能力。该模型通过持续规避旨在引发不良行为的“陷阱”工具，表现出强大的性能。然而，开发者在评估 harness 本身遇到了问题，特别是在终止检测和错误处理方面，这导致对模型本应正确的输出进行了错误的失败分类。开发者正在寻求关于改进 harness 以准确评估模型性能的反馈，特别是区分模型局限性和 harness 错误。 AI

影响 此次评估突显了准确评估 LLM Agentic 能力的挑战以及健壮的评估 harness 的重要性。

排序理由 该条目讨论了现有模型能力的评估和评估 harness 的改进，而不是新模型发布或重要研究。

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

开发者测试本地 35B 模型 Agentic 工具使用，发现 harness 问题

报道来源 [1]

  1. dev.to — LLM tag TIER_1 English(EN) · QuantaMind ·

    本地 35B (Q8) 的 Agentic 工具使用评估：陷阱工具规避能力扎实，但我无法判断我的失败是模型问题还是我的工具链问题

    <p>I've been running a small agentic eval harness against a local model and I'd like a sanity check on both my methodology and how you all handle agent-loop termination.</p> <p>Setup</p> <p>Target: ornith-1.0-35b-Q8_0 (Q8_0), served via llama.cpp<br /> Harness tier: Medium · K=8 …

相关实体

相关话题