实体 Yeqin Zhang

Yeqin Zhang

PulseAugur coverage of Yeqin Zhang — every cluster mentioning Yeqin Zhang across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_86858 · Jun 12 · 04:00

新研究表明注意力值能更好地捕捉LLM句子语义

一项新的研究论文提出，在大型语言模型（LLM）中，注意力值比隐藏状态更能有效地捕捉句子语义。该论文引入了值聚合（VA）方法，该方法跨层和跨索引聚合了token值，在无训练设置下优于现有的基于LLM的嵌入。一种改进技术，对齐加权VA（AlignedWVA），通过将层注意力输出解释为对齐的加权值向量，进一步提高了性能，并取得了最先进的结果。