Lemur
PulseAugur coverage of Lemur — every cluster mentioning Lemur across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的LEMUR框架可从推理MLRM中移除敏感数据
研究人员开发了LEMUR，一个旨在从多模态大型推理模型（MLRM）中移除敏感信息的新颖框架。该方法在推理时运行，无需重新训练模型。LEMUR识别了训练后强化学习（RL）引入的隐私漏洞，这些漏洞可能导致敏感事实在模型的推理过程中泄露，即使它们不在最终答案中。通过利用RL引起的探索特有的令牌级熵签名，LEMUR重定向推理过程以净化这种泄露，同时保持模型的整体效用和流畅性。
-
Meta 推出 AI 编码代理；Travis Kalanick 聘请前 Uber 财务主管 · 跟踪 3 个来源
Meta 推出了 Muse Code，这是一款旨在管理大型复杂代码库的新 AI 代理。与此同时，Travis Kalanick 的机器人公司 Atoms 任命了一位前 Uber 财务主管担任其首席财务官，继续组建团队。第一项讨论了一只狐猴的致命疱疹感染追溯到瑜伽课，这似乎与其他科技新闻无关。
-
LLMs通过MinHash课程微调用于神经架构合成
研究人员开发了一个新颖的神经架构搜索（NAS）框架，该框架利用基于MinHash的相似性调度方法为大型语言模型（LLM）的微调创建渐进式课程。该方法将神经架构代码划分为相似性带，并以递增的异质性呈现它们来指导LLM。在LEMUR基准的CIFAR-10图像分类任务中，使用OlympicCoder-7B模型进行评估时，该课程在高度相似性水平下达到了60%的峰值成功率，且无需后处理修复。消融研究表明，尽管在某些多样化场景下，未经修复的基础模…
-
学习率调度器显著影响跨架构的AI模型准确性
研究人员对各种神经网络架构的学习率调度策略进行了系统评估。通过在九个PyTorch系列中的3,938个模型变体上测试25种调度器配置，他们发现调度器的选择显著影响分类准确性。研究表明，像CosineAnnealingWarmRestarts和CyclicLR这样的策略持续优于基本的衰减方法，最佳配置在CIFAR-10上达到了86.45%的准确率。该研究结果旨在为根据架构选择合适的调度器提供实用参考。
-
新研究系统性评估了不同神经网络架构的学习率调度器
一篇新发表在arXiv上的研究论文详细介绍了对神经网络学习率调度策略的系统性评估。该研究将25种调度器配置应用于3,938个模型变体，使用了来自卷积和Transformer家族的30种不同架构。研究结果表明，最优调度器高度依赖于特定架构，其中CosineAnnealingWarmRestarts和CyclicLR的表现优于简单的衰减方法。该研究为LEMUR神经网络数据集贡献了一个全面的准确性图谱，为选择合适的调度器提供了实用指南。
-
自动化流水线揭示MoE4架构搜索中的偏差
研究人员开发了一个自动化流水线，用于在LEMUR数据集生态系统中探索异构4专家混合专家（MoE4）架构。该流水线系统性地将基础架构族组合成MoE4集成模型，并利用具有特定训练技术的卷积门控网络。一项重要发现揭示了搜索空间中的覆盖偏差，其中按字母顺序枚举导致仅探索了单一族AirNet，而不是预期的更广泛组合。该研究确定ShuffleNet和MobileNetV3是AirNet范围内的が高精度贡献者，并建议在未来的活动中排除Fractal…
-
新方法增强向量检索的相似性和多样性
研究人员提出了两种新方法来提高密集向量检索的效率和有效性，这是现代机器学习系统的核心组成部分。第一种方法 VRSD 通过提出一种新颖的优化问题和一种无参数启发式方法，解决了平衡搜索结果中的相似性和多样性这一挑战，并展示了优于现有基线方法的性能。第二种方法 LEMUR 将多向量检索的延迟问题作为监督学习问题来处理，并将推理简化为单向量搜索，从而实现了显著的加速。
-
LLM 通过新颖的基于 Delta 的代码生成加速神经架构搜索
研究人员正在探索使用大型语言模型 (LLM) 进行神经架构搜索 (NAS) 的新颖方法。一种名为 SPARK 的方法旨在通过显式选择功能因素进行修改来改进 LLM 知识集成，从而减少意外的副作用并提高效率。另一种技术，Delta-Code Generation，专注于微调 LLM 以生成紧凑的代码差异，以改进现有架构而不是从头开始生成它们，从而显著减少代码冗余和计算成本。一项调查还根据效率、鲁棒性和持续学习对 NAS 方法进行了分类，…