infy.uk

Skeleton of Thought 技术通过并行生成加速大语言模型响应

一种名为 Skeleton of Thought (SoT) 的新技术旨在通过重构生成过程来显著加快大语言模型的响应时间。SoT 不按顺序生成文本，而是首先请求一个简短的要点标题列表，然后并行扩展每个要点，最后将它们缝合在一起。这种方法将关键路径从所有要点生成时间的总和缩短到单个最长要点所需的时间，可能带来 2-3 倍的速度提升。然而，SoT 不适用于需要链式推理（要点相互依赖）的任务，并且会增加总 token 数量和请求次数。