研究人员推出了一种新颖的 Elastic Selective Spectral Hybrid (ESSH) 架构,旨在实现跨各种计算预算的高效语言模型推理。ESSH 将输入依赖的衰减和门控与谱混合器和滑动窗口注意力相结合,通过减少通道数量和前馈宽度来实现灵活的模型容量。这种方法能够进行分块并行训练和融合循环解码,同时保持与全容量独立训练模型相当的语言建模质量。在 1.53B 参数配置下,ESSH 展示了比现有的 Mamba 和 Transformer++ 实现显著的速度提升。 AI
影响 提供了一种高效且适应性强的语言模型部署新架构,有望提高推理速度和成本效益。
排序理由 这是一篇详细介绍新模型架构的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →