实体 Whitematter

Whitematter

PulseAugur coverage of Whitematter — every cluster mentioning Whitematter across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_210502 · Aug 20 · 04:00

WhiteMatter Transformer 架构增强了跨层连接

研究人员推出了一种新颖的 Transformer 架构 WhiteMatter，它增强了跨层连接。与传统 Transformer 中每个层仅访问自身深度的 KV 对不同，WhiteMatter 允许每个注意力层连接来自过去 token 的所有层的表示。这是通过一个将层状态混合到 KV 通道中的路由器实现的，使消费层能够关注这些通道。通道数 k 控制 KV 缓存大小，有望减小内存占用。实验表明，WhiteMatter 的性能优于具有更多…