Yuyao Ge

新的PRISM-Δ方法增强了大型语言模型中的提示高亮

研究人员开发了PRISM-Δ，一种用于大型语言模型提示高亮的新颖方法。该技术旨在通过提取区分相关上下文与不相关上下文的引导方向来改进模型对特定文本跨度的优先级排序方式。PRISM-Δ分解协方差矩阵以最大化区分性能量，同时最小化共享模式，并且可以应用于键（Key）和值（Value）表示。该方法在各种基准测试和模型上都显示出性能提升，在许多配置中优于现有方法，同时降低了流畅性成本并能有效扩展到长上下文。