实体 DepthGraft

DepthGraft

PulseAugur coverage of DepthGraft — every cluster mentioning DepthGraft across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_340203 · Nov 4 · 05:00

DepthGraft架构通过分层KV共享增强LLM性能

研究人员推出了一种新颖的分层KV共享架构DepthGraft，旨在通过解决深层信息稀释问题来提高大型语言模型的性能。该方法从跨步对齐的浅层-中层源对中重建深层KV表示，从而实现非局部梯度流并丰富KV内容子空间。在0.5B到16B参数的模型上进行的实验表明，下游性能得到了一致的提升，包括在16B MoE模型上MMLU-Pro的绝对增益达到7.0%。