Select-TTT

新的Select-TTT方法增强了LLM长上下文问答能力

研究人员开发了Select-TTT，一种用于大型语言模型（LLM）的测试时训练（TTT）的新方法，可提高长上下文问答的性能。与之前应用统一更新的方法不同，Select-TTT根据传入文本块与用户查询的相关性来选择性地更新模型权重。这种查询条件机制使用模型自身的冻结输出头来确定相关性，无需额外的参数或监督。该方法在不同的基准测试和模型骨干上都显示出了一致的改进，表明其在涉及不断变化的上下文和多查询的代理任务中的潜力。