一款名为 Fractale-350M-base 的新开源研究模型已发布，专注于一种新颖的记忆系统。该模型不使用长上下文窗口，而是使用一个包含八个向量的库来存储文本块的要点，然后将其作为快速权重读取。这种方法通过将记忆整合到其前向传播中，使模型能够保留超出其即时 512 个标记处理窗口的信息。该模型通过此记忆库在预测后续文本块方面表现出可衡量的改进，优于无记忆的对照组。 AI
影响 该模型的独特记忆架构可以通过优先考虑高效信息检索而非扩展上下文窗口来影响未来的 LLM 设计。
排序理由 具有新颖技术方法的开源研究模型发布。[lever_c_从研究降级：ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
