Nested Learning
PulseAugur coverage of Nested Learning — every cluster mentioning Nested Learning across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
嵌套学习引入新型连续记忆系统
本文介绍了嵌套学习，一种利用连续记忆系统的新颖方法。该系统用一系列记忆块取代了Transformer传统的双速率记忆，每个记忆块都在其自己的独立时钟周期上运行。这种架构旨在提高AI模型的记忆管理和处理效率。
-
基于Mamba的框架通过自监督提升XCT缺陷分类性能
研究人员开发了NL-MambaXCT，一个利用Mamba架构和自监督学习的新框架，用于Nomex蜂窝结构X射线计算机断层扫描（XCT）图像的缺陷分类。该方法结合了用于无标签数据预训练的掩码图像建模和嵌套学习公式，具有双时间尺度参数动态和深度动量优化器。该模型取得了高准确率和F1分数，优于现有的CNN、注意力机制和单时间尺度Mamba基线模型，表明其在航空航天制造业中进行高效、鲁棒的工业检测的潜力。
-
AI持续学习研究应对灾难性遗忘
研究人员正在探索AI持续学习的新方法，旨在克服“灾难性遗忘”的挑战，即模型在学习新技能时会丢失先前学到的信息。Google Research推出了“嵌套学习”，一种将模型视为相互关联的优化问题的范式，以缓解此问题。其他研究侧重于高效方法，如CIRCLE，它使用固定的存储库特征，以及用于LLM的SAE引导激活正则化，它在激活空间而非权重空间中运行。此外，正在开发新的指标来更好地表征遗忘，并提出了CoVON等新型优化器来平衡持续学习系统的…
-
Google AI 推出嵌套学习；OpenAI 在元学习和 AI 安全方面取得进展
Google Research 推出了“嵌套学习”（Nested Learning），这是一种新颖的机器学习范式，旨在解决持续学习中的灾难性遗忘问题。该方法将模型视为相互关联的优化问题，使它们能够在不丧失先前任务熟练度的情况下获取新知识。一个名为“Hope”的概念验证架构已通过该范式在语言建模和长上下文记忆管理方面展示了卓越的性能。OpenAI 还发布了关于元学习算法的研究，包括 Reptile，该算法专注于学习如何高效地为新任务学习…