Deutsch(DE) JSON Schema Field Order: My vLLM Classifier Answered Before Thinking

开发者发现 JSON schema 字段顺序严重影响 LLM 输出

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-25 11:49

一位开发者发现，在使用约束解码时，JSON schema 中键的顺序会显著影响大型语言模型的输出。当一个缓存辅助函数按字母顺序对 JSON schema 键进行排序时，模型开始在生成推理之前分配类别，导致准确性显著下降。这个问题之所以出现，是因为自回归模型是逐个 token 生成文本的，后来的 token 无法影响早期的决策。开发者发现，在 schema 中将 'reasoning' 字段放在 'category' 字段之前，可以将模型的准确率从 81.8% 提高到 90.2%。 AI

影响强调了 LLM 提示工程和约束解码中一个微妙但关键的因素，影响了可靠性和准确性。

排序理由开发者的个人博客文章，详细介绍了关于 LLM 行为的一个具体技术发现。

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 8 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Commentary; 开发者的个人博客文章，详细介绍了关于 LLM 行为的一个具体技术发现。
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: product, infra; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

dev.to — LLM tag TIER_1 Deutsch(DE) · jidonglab · 2026-10-25 11:49

JSON Schema 字段顺序：我的 vLLM 分类器在思考前就给出了答案

My ticket classifier had a <code>reasoning</code> field, and the reasoning was good. It would write "the customer was charged twice for the same invoice, this is a billing problem" and then file the ticket under <code>bug</code>. Not once. Dozens of times. The Py…

本文如何被排名

报道来源 [1]

JSON Schema 字段顺序：我的 vLLM 分类器在思考前就给出了答案

相关实体

相关话题