Thread of Thought

Thread of Thought 技术提高了 LLM 处理长上下文的准确性

一种名为 Thread of Thought (ThoT) 的新技术解决了大型语言模型从长上下文中准确提取信息的挑战。传统模型表现出 U 形准确率曲线，在文本开头或结尾的信息上表现最好，而在中间信息上表现较差。ThoT 通过将上下文处理成可管理的部分，总结每个片段，并评估其与查询的相关性来提高准确性。然后将这些摘要汇编成一个连续的线程，作为外部记忆，使模型能够从关键信息中综合出更准确的答案，而无论其原始位置如何。