English(EN) AutoEncoder-Compressed Parallel Split Learning for Pre-trained Model Fine-Tuning

新的AE-PSL方法增强了边缘设备上基础模型的微调

作者 PulseAugur 编辑部 · [1 个来源] · 2026-07-21 04:00

研究人员开发了一种名为自编码器压缩并行拆分学习（AE-PSL）的新方法，以改进资源受限设备上大型基础模型的分布式微调。该方法使用轻量级自编码器压缩中间数据，解决了现有拆分学习技术中常见的通信开销和特征分布不一致问题。AE-PSL包含一个两阶段对齐机制，以确保在微调前与预训练模型兼容。 AI

影响该方法可以实现资源受限的边缘设备上大型AI模型更高效的微调，从而扩展其应用范围。

排序理由该集群包含一篇学术论文，详细介绍了基础模型分布式微调的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.LG TIER_1 English(EN) · Bas Meuwissen, Vasileios Tsouvalas, Nirvana Meratnia · 2026-07-21 04:00

用于预训练模型微调的自编码器压缩并行拆分学习

arXiv:2607.17913v1 Announce Type: cross Abstract: Distributed Fine-Tuning (DFT) of large-scale Foundation Models (FMs) on resource-constrained edge devices is limited by local compute constraints and communication overhead. Parallel Split Learning (PSL) reduces client-side comput…