实体
Lukas Hauzenberger
Lukas Hauzenberger
PulseAugur coverage of Lukas Hauzenberger — every cluster mentioning Lukas Hauzenberger across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
xLSTM模型实现大型语言模型近乎无损蒸馏
研究人员开发了一个有效的蒸馏流程，将具有二次注意力机制的大型语言模型（LLMs）的知识转移到基于xLSTM的亚二次架构上。该方法旨在实现无损蒸馏，其定义是学生模型和教师模型之间具有可比的胜负平局率。该流程包括一个额外的合并阶段，将线性化专家合并成一个单一模型，成功地蒸馏了Llama、Qwen和Olmo系列的模型。在许多情况下，xLSTM学生模型在各种下游任务上的表现接近甚至超过了它们的教师LLM，这朝着更节能的LLM替代品迈出了一步。
-
KVpop 方法在保持性能的同时大幅减少了 LLM 缓存内存使用量
研究人员开发了 KVpop，一种用于压缩自回归解码中键值缓存的新颖方法，这是大上下文窗口的一个重要瓶颈。KVpop 通过使用未来注意力目标直接监督保留或丢弃决策来学习驱逐策略，在保持高性能的同时实现了显著的内存节省。该方法在 Qwen3-4B 和 Qwen3-8B 等模型的数学推理任务上取得了强劲成果，优于现有的驱逐基线，并显著降低了内存成本。