Mali

新框架 FBLayout 提升移动 LLM 微调效率

研究人员开发了 FBLayout，一个旨在优化内存布局以在移动 GPU 上高效微调大型语言模型的新框架。该方法解决了阻碍设备端 AI 个性化的内存限制和布局转换效率低下的问题。FBLayout 引入了统一的 R-Tile 布局、基于块的索引转换和由激活引导的布局选择，以最大限度地减少数据移动和内存占用。在各种 Transformer 模型和移动 GPU 上的评估表明，与现有框架相比，速度显著提升，从而实现了实用的设备端微调。