一项提案建议使用语义压缩作为一种输入扩散技术，以处理比当前上下文窗口更长的AI会话。该方法将上下文视为渐进式渲染，从压缩的大纲开始，然后逐渐添加压缩程度较低、细节更多的切片。目标是保留在标准压缩或检索方法中丢失的非局部信息。使用Qwen2.5 7B等小型、未训练模型的初步测试显示了单个组件的潜力，但在端到端连贯性方面存在困难，并计划进行进一步微调以评估位置感知训练。 AI
影响 可能使AI模型在更长的交互中保持连贯性和回忆信息。
排序理由 一项关于处理长AI上下文的新技术的研究提案。[lever_c_demoted from research: ic=1 ai=1.0]
- context window
- Input Diffusion and the Evolution of Production Networks
- Qwen2.5 7B
- Recursive Language Models
- Semantic compression
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
