Toolkit Labs

LLM JSON解析器难以处理截断输出；Toolkit Labs发布基准测试

Toolkit Labs发布了对旨在处理大型语言模型（LLM）错误输出的JSON解析器的基准测试结果。该研究聚焦于25个截断的JSON案例，即模型输出在流式传输过程中被截断。在Python和Node.js运行时中测试的21个解析器中，有12个得分零，未能恢复任何截断的输出。该公司自己的解析器jsonshim，在恢复25个截断案例中的23个方面，表现与json-repair相当。