实体 INSERTQUANT

INSERTQUANT

PulseAugur coverage of INSERTQUANT — every cluster mentioning INSERTQUANT across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_65987 · Jun 2 · 04:00

LLM激活尖峰被识别为结构向量偏见

研究人员发现，大型语言模型（LLM）中的大规模激活尖峰不仅仅是标量偏见，而是由特定token内的结构向量偏见驱动的。这些token在归一化后会收敛到影响注意力和值机制的常数向量。一种名为INSERTQUANT的新型训练后量化框架被开发出来，通过钳制尖峰并使用预计算的模板向量来解决这个问题，从而在不同模态之间实现高保真度的鲁棒低比特量化。