jsonshim
PulseAugur coverage of jsonshim — every cluster mentioning jsonshim across labs, papers, and developer communities, ranked by signal.
-
新的JSON恢复工具拒绝为LLM错误臆造数据
一款名为jsonshim-mcp的新工具已发布，旨在应对从语言模型中恢复格式错误的JSON输出的挑战。与其他库不同，jsonshim-mcp不会对无法恢复的JSON臆造任何值，并在55个本可以挽救数据的情况下拒绝猜测。在一个包含300个合成的格式错误JSON字符串的语料库上，它实现了72.7%的精确匹配率，在特定场景下优于json.loads和json-repair等库。
-
json-repair 在提取 LLM 封装的 JSON 方面表现出色，优于 jsonshim
一项新的基准测试 MALFORMED-300 评估了解析器从格式错误的 LLM 输出中提取 JSON 的能力，特别是当 JSON 被封装在 XML、HTML 或 SQL 等其他格式中时。json-repair 工具在此特定类别中取得了完美的 25/25 分，优于 jsonshim (17/25) 和标准库 (0/25)。然而，在整个 300 个案例的基准测试中，jsonshim 仍以 94.0% 的总分领先，json-repair 以…
-
LLM JSON解析器难以处理截断输出；Toolkit Labs发布基准测试
Toolkit Labs发布了对旨在处理大型语言模型（LLM）错误输出的JSON解析器的基准测试结果。该研究聚焦于25个截断的JSON案例，即模型输出在流式传输过程中被截断。在Python和Node.js运行时中测试的21个解析器中，有12个得分零，未能恢复任何截断的输出。该公司自己的解析器jsonshim，在恢复25个截断案例中的23个方面，表现与json-repair相当。
-
Python JSON解析器在格式错误的LLM输出上的基准测试
对七个Python JSON解析器进行了基准测试，以评估它们在大型语言模型（LLM）格式错误输出上的性能。测试套件MALFORMED-300包含300个格式错误的JSON案例。结果显示，在可恢复的案例中，`json-repair`在数据恢复方面优于作者的工具`jsonshim`。然而，`jsonshim`在不可恢复的案例中采取了更严格的拒绝策略，这对于数据库条目或工具调用来说是更可取的，而`json-repair`总是返回一个值的做法…