实体 Ravi Ghadia

Ravi Ghadia

PulseAugur coverage of Ravi Ghadia — every cluster mentioning Ravi Ghadia across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_139633 · Jul 13 · 04:00

新UPipe方法大幅降低Transformer处理长上下文的内存占用

研究人员开发了UPipe，一种用于提高Transformer模型处理长序列效率的新颖方法。该技术通过在注意力头级别进行分块计算，在32B模型中实现了高达87.5%的注意力层内存节省。UPipe能够显著延长上下文长度，支持Llama3-8B在单节点上处理多达500万个token，同时保持具有竞争力的训练速度。