一位独立研究者提出了一种新颖的方法来处理语言模型中极长的上下文，即将上下文压缩视为一个扩散噪声函数。该方法涉及对源文档进行多次传递，每次传递使用一个逐渐不那么压缩的视图来精炼集成状态。对未经训练的模型进行的初步实验表明，虽然各个组件显示出潜力，但信息在传递过程中的保留和重组仍然是一个瓶颈，这表明需要进一步的模型训练来验证。 AI
影响 这种方法有可能使语言模型能够处理和理解比当前上下文窗口允许的更长的文档。
排序理由 该集群描述了一种新颖的研究提案和一种新的自然语言处理方法的初步实验结果。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
