实体 SplitLite

SplitLite

PulseAugur coverage of SplitLite — every cluster mentioning SplitLite across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_218039 · Aug 25 · 04:00

SplitLite 方法大幅降低 LLM 微调通信成本

研究人员开发了 SplitLite，一种用于在设备上高效进行大型语言模型 (LLM) 联邦微调的新方法。该方法通过利用训练周期之间激活和梯度残差的低秩结构，解决了分层学习中的通信瓶颈。SplitLite 在不影响 GLUE 等基准测试的模型性能的情况下，实现了通信成本的大幅降低，激活上行链路降低高达 93.5%，总体降低 83.7%。