Lemur
PulseAugur coverage of Lemur — every cluster mentioning Lemur across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
自动化流水线揭示MoE4架构搜索中的偏差
研究人员开发了一个自动化流水线，用于在LEMUR数据集生态系统中探索异构4专家混合专家（MoE4）架构。该流水线系统性地将基础架构族组合成MoE4集成模型，并利用具有特定训练技术的卷积门控网络。一项重要发现揭示了搜索空间中的覆盖偏差，其中按字母顺序枚举导致仅探索了单一族AirNet，而不是预期的更广泛组合。该研究确定ShuffleNet和MobileNetV3是AirNet范围内的が高精度贡献者，并建议在未来的活动中排除Fractal…
-
新方法增强向量检索的相似性和多样性
研究人员提出了两种新方法来提高密集向量检索的效率和有效性，这是现代机器学习系统的核心组成部分。第一种方法 VRSD 通过提出一种新颖的优化问题和一种无参数启发式方法，解决了平衡搜索结果中的相似性和多样性这一挑战，并展示了优于现有基线方法的性能。第二种方法 LEMUR 将多向量检索的延迟问题作为监督学习问题来处理，并将推理简化为单向量搜索，从而实现了显著的加速。
-
LLM 通过新颖的基于 Delta 的代码生成加速神经架构搜索
研究人员正在探索使用大型语言模型 (LLM) 进行神经架构搜索 (NAS) 的新颖方法。一种名为 SPARK 的方法旨在通过显式选择功能因素进行修改来改进 LLM 知识集成，从而减少意外的副作用并提高效率。另一种技术，Delta-Code Generation，专注于微调 LLM 以生成紧凑的代码差异，以改进现有架构而不是从头开始生成它们，从而显著减少代码冗余和计算成本。一项调查还根据效率、鲁棒性和持续学习对 NAS 方法进行了分类，…