json_repair
PulseAugur coverage of json_repair — every cluster mentioning json_repair across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
LLM JSON 截断绕过修复和模式验证
一位开发者探讨了 LLM API 在未报错的情况下返回截断的 JSON 的问题，这会悄无声息地破坏下游管道。使用像 `json-repair` 这样的修复库可以掩盖这些截断，测试表明几乎所有格式错误的 JSON 都被修复得看起来有效。即使有 JSON 模式验证，仍有相当比例的截断数据通过，特别是当数组元素被截断或数字不完整时。添加一个简单的消息结束标记可以显著提高检测率。
-
LLM 推理泄露可能损坏 JSON 输出，作者发现
从大型语言模型中提取 JSON 时，尤其是在模型将推理过程包含在 标签内时，一个常见的问题是标准 JSON 解析器可能会失败或返回错误数据。即使是像 `json-repair` 这样的专用库，也可能错误地解析这些推理块中找到的不完整或格式错误的 JSON 草稿。作者提出了一种解决方案，该方案首先删除任何 块（包括不完整的块），然后再尝试解析剩余文本中的最后一个完整 JSON 对象。
-
LLM可以输出事实错误但语法正确的JSON，需要健壮的解析和验证
两篇文章讨论了从大型语言模型中获取可靠结构化数据的挑战。第一篇文章强调模型如何生成语法上有效但事实错误的JSON，引入了“陈旧值”失败，即重复先前的输出。第二篇文章侧重于本地LLM部署，提倡一个包含模式约束解码（如Ollama的format参数与Pydantic）、弹性解析器（json_repair）和由反馈驱动的重试机制的健壮管道，以处理各种输出错误。
-
新的JSON恢复工具拒绝为LLM错误臆造数据
一款名为jsonshim-mcp的新工具已发布，旨在应对从语言模型中恢复格式错误的JSON输出的挑战。与其他库不同，jsonshim-mcp不会对无法恢复的JSON臆造任何值，并在55个本可以挽救数据的情况下拒绝猜测。在一个包含300个合成的格式错误JSON字符串的语料库上，它实现了72.7%的精确匹配率，在特定场景下优于json.loads和json-repair等库。
-
json-repair 在提取 LLM 封装的 JSON 方面表现出色，优于 jsonshim
一项新的基准测试 MALFORMED-300 评估了解析器从格式错误的 LLM 输出中提取 JSON 的能力，特别是当 JSON 被封装在 XML、HTML 或 SQL 等其他格式中时。json-repair 工具在此特定类别中取得了完美的 25/25 分，优于 jsonshim (17/25) 和标准库 (0/25)。然而，在整个 300 个案例的基准测试中，jsonshim 仍以 94.0% 的总分领先，json-repair 以…
-
LLM JSON解析器难以处理截断输出；Toolkit Labs发布基准测试
Toolkit Labs发布了对旨在处理大型语言模型（LLM）错误输出的JSON解析器的基准测试结果。该研究聚焦于25个截断的JSON案例，即模型输出在流式传输过程中被截断。在Python和Node.js运行时中测试的21个解析器中，有12个得分零，未能恢复任何截断的输出。该公司自己的解析器jsonshim，在恢复25个截断案例中的23个方面，表现与json-repair相当。
-
Python JSON解析器在格式错误的LLM输出上的基准测试
对七个Python JSON解析器进行了基准测试，以评估它们在大型语言模型（LLM）格式错误输出上的性能。测试套件MALFORMED-300包含300个格式错误的JSON案例。结果显示，在可恢复的案例中，`json-repair`在数据恢复方面优于作者的工具`jsonshim`。然而，`jsonshim`在不可恢复的案例中采取了更严格的拒绝策略，这对于数据库条目或工具调用来说是更可取的，而`json-repair`总是返回一个值的做法…