Python JSON解析器在格式错误的LLM输出上的基准测试

对七个Python JSON解析器进行了基准测试，以评估它们在大型语言模型（LLM）格式错误输出上的性能。测试套件MALFORMED-300包含300个格式错误的JSON案例。结果显示，在可恢复的案例中，`json-repair`在数据恢复方面优于作者的工具`jsonshim`。然而，`jsonshim`在不可恢复的案例中采取了更严格的拒绝策略，这对于数据库条目或工具调用来说是更可取的，而`json-repair`总是返回一个值的做法可能会通过将 redactions 变成有效数据来掩盖错误。 AI

影响 此次基准测试凸显了可靠解析LLM输出所面临的挑战，影响了开发人员将LLM集成到数据管道中的方式。

排序理由 该条目详细介绍了用于特定技术任务的软件工具的基准测试。[lever_c_demoted from research: ic=1 ai=0.7]

在 dev.to — LLM tag 阅读 →

• demjson3
• dirtyjson
• json5
• json-repair
• jsonshim
• MALFORMED-300
• pyjson5
• Python

• 产品
• 其他

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →