一款名为 QLLM 的新型语言模型已发布，其采用了一种新颖的架构，不依赖于 Transformer 或 Mamba。该模型拥有 O(1) 推理复杂度，意味着其处理时间不随输入长度增加而增加，并且无需 KV 缓存即可运行。虽然目前性能处于 GPT-2 水平，尚未达到最先进水平，但 QLLM 已开源，其代码和模型可在 Hugging Face 上获取，并可能应用于语音建模。 AI
影响 这种新颖的架构可能为 LLM 中的长上下文处理带来显著的效率提升。
排序理由 发布了一款新的、非 Transformer/Mamba 语言模型，具有 O(1) 推理复杂度。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
