Apple 发布 SRLM 以增强长上下文语言模型的推理能力

Apple Machine Learning Research 推出了一个名为 Self-Reflective Program Search for Long Context (SRLM) 的新框架。该框架旨在通过使用不确定性感知的自反思来评估和选择用于上下文交互的程序，从而改进语言模型处理长上下文的方式。SRLM 利用自洽性、推理轨迹长度和口头表达的置信度等信号，在相同的时间限制内，性能提升高达 22%，优于现有的递归语言模型 (RLM)。研究表明，SRLM 的有效性源于其自反思机制，该机制为在具有挑战性的长上下文场景中进行更好的推理提供了语义信号，而不是仅仅依赖递归。 AI

影响 改进了语言模型中的长上下文处理能力，可能增强需要广泛信息处理的应用。

排序理由 该集群包含一篇详细介绍语言模型新框架的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 Apple Machine Learning Research 阅读 →

• Apple Inc.
• Apple Machine Learning Research
• Association for Computational Linguistics
• Keivan Alizadeh
• Mehrdad Farajtabar
• Minsik Cho
• Parshin Shojaee
• Recursive Language Models
• retrieval-augmented generation
• Self-Reflective Program Search for Long Context

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →