实体 Konstantin Berestizshevsky

Konstantin Berestizshevsky

PulseAugur coverage of Konstantin Berestizshevsky — every cluster mentioning Konstantin Berestizshevsky across labs, papers, and developer communities, ranked by signal.

Show in brief

总计 · 30天

90 天内 1

发布 · 30天

90 天内 0

论文 · 30天

90 天内 1

层级分布 · 90 天

主题

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_93108 · Jun 15 · 00:00

新研究探索用于大型语言模型的混合和稀疏注意力机制

研究人员正在探索优化大型语言模型中注意力机制的新方法，特别是用于处理长上下文。例如，HydraHead架构沿头轴混合了全注意力（FA）和线性注意力（LA），识别关键的FA头并协调分布差异。另外，StreamKL提供了一种快速且内存高效的方法来计算注意力蒸馏的Kullback-Leibler散度，减少了HBM占用空间，并支持在单个GPU上进行长上下文蒸馏。其他研究包括基于域分解的分层注意力和距离自适应表示，后者为远距离标记分配较低的维度…

新研究探索用于大型语言模型的混合和稀疏注意力机制