Español(ES) Truncado silencioso: cuando un verificador de LLM da el mismo puntaje a una respuesta correcta y a una incorrecta

LLM响应检查器ZTC-Judge-27B存在静默截断缺陷

作者 PulseAugur 编辑部 · [1 个来源] · 2026-11-02 14:35

一种基于语言模型的响应检查器ZTC-Judge-27B被发现存在一个严重缺陷，其上下文限制可能导致它完全忽略正确的答案。这个问题出现的原因是，分词器在截断输入时，如果输入超过2048个token的限制，会丢弃答案和最后的提示短语。因此，模型会对正确和错误的响应产生相同的分数，因为评分向量是从截断的输入派生出来的，没有任何错误指示。该问题已于2026年11月2日修复，现在它只正确截断问题部分，保留答案和最后的提示，从而实现更准确的评分。 AI

影响这一缺陷凸显了在LLM评估工具中稳健处理上下文限制的严峻需求，以确保对模型响应的准确评估。

排序理由该条目描述了现有基于LLM的工具中的一个缺陷及其修复，而不是新版本发布或重大的行业事件。

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 2 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该条目描述了现有基于LLM的工具中的一个缺陷及其修复，而不是新版本发布或重大的行业事件。
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: model release, other; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Same-day; Cluster formed today. Ranking reflects the current source set at time of score.

完整方法见我们的编辑标准。

报道来源 [1]

dev.to — LLM tag TIER_1 Español(ES) · 김민식/학생 · 2026-11-02 14:35

Silent truncation: when an LLM checker gives the same score to a correct and an incorrect answer

<h2> TL;DR </h2> <ul> <li>Un verificador de respuestas basado en LLM tiene un <strong>límite de contexto</strong>. Si el tokenizador corta por la derecha lo que se pasa del límite, y la plantilla pone la <strong>respuesta al final</strong>, la respuesta desaparece. Dos respuestas…

本文如何被排名

报道来源 [1]

Silent truncation: when an LLM checker gives the same score to a correct and an incorrect answer

相关实体

相关话题