Recursive Language Models
PulseAugur coverage of Recursive Language Models — every cluster mentioning Recursive Language Models across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
Apple 发布 SRLM 以增强长上下文语言模型的推理能力
Apple Machine Learning Research 推出了一个名为 Self-Reflective Program Search for Long Context (SRLM) 的新框架。该框架旨在通过使用不确定性感知的自反思来评估和选择用于上下文交互的程序，从而改进语言模型处理长上下文的方式。SRLM 利用自洽性、推理轨迹长度和口头表达的置信度等信号，在相同的时间限制内，性能提升高达 22%，优于现有的递归语言模型 (R…
-
提案使用语义压缩处理AI长上下文会话
一项提案建议使用语义压缩作为一种输入扩散技术，以处理比当前上下文窗口更长的AI会话。该方法将上下文视为渐进式渲染，从压缩的大纲开始，然后逐渐添加压缩程度较低、细节更多的切片。目标是保留在标准压缩或检索方法中丢失的非局部信息。使用Qwen2.5 7B等小型、未训练模型的初步测试显示了单个组件的潜力，但在端到端连贯性方面存在困难，并计划进行进一步微调以评估位置感知训练。
-
新的上下文压缩方法使用扩散噪声函数
一位独立研究者提出了一种新颖的方法来处理语言模型中极长的上下文，即将上下文压缩视为一个扩散噪声函数。该方法涉及对源文档进行多次传递，每次传递使用一个逐渐不那么压缩的视图来精炼集成状态。对未经训练的模型进行的初步实验表明，虽然各个组件显示出潜力，但信息在传递过程中的保留和重组仍然是一个瓶颈，这表明需要进一步的模型训练来验证。
-
Amazon Bedrock AgentCore 打破了 LLM 的上下文窗口限制
Amazon Bedrock 推出了 AgentCore，一项旨在克服大型语言模型上下文窗口限制的新功能。该功能通过将输入视为外部环境，使模型能够处理和推理几乎任何长度的文档。它采用递归语言模型 (RLM) 方法，其中根 LLM 代理通过生成代码与文档块进行交互来协调分析，将语义任务委托给子 LLM，并将结果累积到持久工作内存中。
-
RAG 系统架构在知识库中毒方面表现出不同的鲁棒性
研究人员调查了检索增强生成（RAG）系统在知识库中毒方面的脆弱性，发现系统架构对对抗性鲁棒性有显著影响。在 Natural Questions 数据集上的评估显示，与普通 RAG 系统相比，旨在处理冲突信息（如递归语言模型 RLM）的架构在抵抗中毒攻击方面明显更具抵抗力。研究表明，对于大多数架构而言，对抗性框架而非检索优化是攻击成功的首要驱动因素，突显了内容推理阶段是关键的脆弱点。