Local-First Heuristic Evolution

新的LFHE框架优化了非独立同分布数据下的分散式学习

研究人员推出了一种名为局部优先启发式演化（LFHE）的新型框架，旨在优化分散式学习环境中的通信拓扑，特别是在处理非独立同分布（Non-IID）数据时。LFHE利用局部模型信息进行自适应的对等方选择，并采用一种依赖于自我邻域和朋友的朋友信息进行候选发现和评分的表示驱动重连方法。该方法提供了介于简单成对对等方选择和全局信息拓扑优化之间的中间解决方案，在图像、语音和文本基准测试中表现出有竞争力的性能。