实体
Lin Zheng
Lin Zheng
PulseAugur coverage of Lin Zheng — every cluster mentioning Lin Zheng across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
新框架改进了移动设备上MoE LLM的联邦学习
研究人员开发了FedAlign-MoE，一个旨在改进移动边缘设备上混合专家（MoE）大语言模型的联邦学习框架。该方法解决了跨设备数据异构性带来的挑战，这种异构性可能导致门控偏好分歧和专家语义模糊。FedAlign-MoE通过加权和正则化确保路由一致性，同时对齐专家语义以保持专业化，并在非独立同分布（non-IID）环境中提高整体准确性和收敛速度。
-
确定性编译器改进了 LLM 的长上下文状态跟踪
已开发出一种新的 LLM 长上下文状态跟踪方法，证明传统的检索增强生成（RAG）方法不足以在长文档中维护派生状态。该方法涉及一个确定性编译器，用于验证模型发出的语义事务，解决了模型忘记从未明确写下的派生信息的问题。该技术在散文一致性方面与 RAG 相当，但代币成本高出 25%，初步基准测试表明状态跟踪准确性有显著提高。
-
新的GAPSL框架增强了异构边缘系统中的联邦学习
研究人员开发了GAPSL，一个用于并行拆分学习的新框架，旨在改善具有异构数据的边缘计算系统中的联邦学习。GAPSL通过引入两个组件来解决由设备间不一致的梯度方向引起的训练发散：领导者梯度识别（LGI）和梯度方向对齐（GDA）。LGI选择一个鲁棒的领导者梯度，而GDA使用正则化将客户端梯度与该领导者对齐，从而增强模型的收敛性和鲁棒性。实验表明，GAPSL在准确性、收敛速度和系统弹性方面优于现有基准。