TinyImageNet
PulseAugur coverage of TinyImageNet — every cluster mentioning TinyImageNet across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新研究解决多模态大语言模型的联邦持续学习问题 · 跟踪到2个来源
两篇新研究论文解决了多模态大语言模型（MLLMs）联邦持续学习中的挑战。第一篇论文介绍了FedCMM，一个通过实现模态感知弹性权重巩固、用于重放的合成数据生成以及任务相似性感知梯度聚合来对抗MLLMs灾难性遗忘的框架。第二篇论文提出了HERO，一个通过分离任务分割、客户端数据分割和客户端任务顺序来标准化联邦持续学习评估的基准库，旨在提高不同FCL方法之间的可比性和可复现性。
-
PERTINENCE 方法通过动态选择模型优化 DNN 效率
研究人员开发了 PERTINENCE，一种新颖的运行时方法，旨在优化深度神经网络 (DNN) 的计算效率。该技术根据输入复杂度从预训练模型集中动态选择最合适的模型，旨在降低计算成本和能耗，同时不显著影响准确性。在包括图像分类和基于 YOLO 的系统在内的各种数据集和应用上的评估表明，PERTINENCE 可以实现相当或更高的准确性，同时将操作减少高达 36%。
-
新框架改进了无样本类别增量学习
研究人员推出了一种新颖的无样本类别增量学习（EFCIL）方法——几何锚定传输框架。该框架将特征传输作为内在训练约束，而不是单独的后任务步骤，以在变化的特征空间中保持稳定的决策边界。它利用通过马氏距离对齐回归获得的解析几何锚点来解决各向异性漂移，并利用拓扑感知演化目标来正则化流形退化。在 CIFAR-100、TinyImageNet 和 ImageNet-100 上的实验表明，这种耦合方法在严格的无样本条件下比现有的事后方法提高了性能。
-
新框架通过进化客户端选择增强联邦学习
研究人员开发了一个名为 EvoCSFL 的新框架，以提高联邦学习的效率和鲁棒性。该方法使用由代理模型指导的进化算法来选择客户端，以优化模型性能、通信延迟和能耗。在多个数据集上的实验表明，与现有方法相比，EvoCSFL 实现了更快的收敛速度、更低的能耗和更好的鲁棒性。
-
Transformer 研究发现 QKV 投影共享可大幅减少内存使用
研究人员调查了 Transformer 模型中三个独立投影（查询、键和值）的必要性。他们的研究发现，共享投影，特别是 Q-K=V 变体，可以在对性能影响极小的情况下显著减少 KV 缓存内存使用。这种方法，特别是与分组查询注意力结合使用时，可提供可观的内存节省，可能支持更高效的设备端推理。
-
新研究解决深度神经网络中的对抗鲁棒性问题
几篇近期研究论文探讨了增强深度神经网络对抗鲁棒性的新方法。这些研究引入了诸如结合经验和认证防御的集成方法、噪声和双边滤波器的协同使用以及用于模拟对抗不确定性的贝叶斯框架等技术。此外，一篇论文提出了一个新的分类器，该分类器在判别能力和鲁棒性之间取得平衡，而另一篇则侧重于能够处理非加性扰动的对抗净化方法。
-
新的AI后门攻击通过针对数据密度来规避防御
研究人员开发了一种新的AI模型后门攻击方法，该方法对训练后防御（如微调和剪枝）具有更强的抵抗力。该技术涉及将触发样本策略性地放置在干净数据分布的低密度区域，从而优化攻击成功率和干净准确率的保持。与现有方法相比，该方法在攻击成功率和对抗防御能力方面表现出更高的性能，表明当前防御策略存在根本性差距。
-
TSFLora框架降低了边缘设备的AI模型适配成本
研究人员开发了TSFLora，一个旨在高效适配大型AI模型以用于无线边缘设备的新型框架。该方法通过压缩中间模型数据，解决了现有方法（如联邦微调和Split Learning）的局限性。TSFLora采用注意力引导的Token选择、合并和低比特量化等技术，在保持模型精度的同时，显著降低了通信开销和内存使用。
-
AI持续学习研究应对灾难性遗忘
研究人员正在探索AI持续学习的新方法，旨在克服“灾难性遗忘”的挑战，即模型在学习新技能时会丢失先前学到的信息。Google Research推出了“嵌套学习”，一种将模型视为相互关联的优化问题的范式，以缓解此问题。其他研究侧重于高效方法，如CIRCLE，它使用固定的存储库特征，以及用于LLM的SAE引导激活正则化，它在激活空间而非权重空间中运行。此外，正在开发新的指标来更好地表征遗忘，并提出了CoVON等新型优化器来平衡持续学习系统的…