研究人员开发了一种名为 H$^{2}$MT 的新型 Transformer 模型，旨在更有效地处理长文本输入。该模型离线构建输入数据的语义层次结构，从而在推理过程中更有效地路由查询。通过及早修剪不相关信息，H$^{2}$MT 旨在与提示压缩和检索增强生成等现有方法相比，减少计算量和延迟。 AI
影响 这种新的模型架构可以使大模型更有效地处理长文档，提高需要广泛上下文的任务的性能。
排序理由 该集群包含一篇详细介绍新模型架构的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →