Pask

新的PASK方法通过解析器感知增强LLM结构化生成

研究人员开发了一种名为PASK（解析器感知结构化KV持久化）的新方法，以改进大型语言模型的结构化生成。该技术利用解析器状态，在KV持久化方面做出更明智的决策，这对于生成JSON、SQL和函数调用等任务至关重要，因为这些任务中的错误可能产生重大的下游影响。PASK旨在更好地利用从语法转换中获得的结构信号，在端到端服务场景中，其性能优于现有的压缩基线，并提高了吞吐量和降低了内存使用。