AdapShot

AdapShot 通过动态示例数量和键值缓存重用优化 LLM 上下文学习

研究人员推出了一种名为 AdapShot 的新方法，用于增强大型语言模型的多示例上下文学习。该方法根据查询难度动态调整提供的示例数量，并使用输出熵来确定最佳示例数量。为了提高效率，AdapShot 采用了一种语义感知的键值缓存重用策略，其中包括一种解耦和重新编码技术来处理位置编码不兼容问题。实验表明，与 DBSA 等现有方法相比，AdapShot 可实现约 10% 的性能提升和 4.64 倍的速度提升。