Split-CIFAR-100
PulseAugur coverage of Split-CIFAR-100 — every cluster mentioning Split-CIFAR-100 across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的SynGAP框架模仿生物延展性以实现持续学习
研究人员开发了SynGAP，一个新颖的持续学习框架，它模仿生物延展性以防止人工神经网络中的灾难性遗忘。与需要任务标签或大量内存开销的现有方法不同，SynGAP通过维护Fisher信息矩阵的移动平均值来创建预处理梯度的乘法掩码，从而使用自适应梯度预处理。这种方法选择性地减弱对关键历史参数的更新，从而在Split CIFAR-100和CORe50等基准测试中提高准确性并减少遗忘。
-
新的类别增量学习方法使用潜在世界模型进行无记忆回放
研究人员开发了一种新颖的框架，称为原型潜在世界模型回放（Prototype Latent World Model Replay），用于类别增量学习。该方法通过将旧类别信息存储为稳定隐藏状态上的分布来解决在无法访问先前类别原始数据的情况下学习新类别的挑战。一个冻结的、经过ImageNet预训练的编码器将图像映射到这些潜在状态，然后由每个类别的原型中心分布进行总结。该系统从该模型中采样旧的潜在状态，以与新类别特征一起训练一个轻量级适配器和…
-
神经子空间重新分配将持续学习重构为内存管理
研究人员推出了一种新方法——神经子空间重新分配（NSR），该方法将持续学习概念化为参数子空间内的内存管理问题。NSR将低秩适配（LoRA）模块视为可检索的内存单元，而非一次性适配器。该系统压缩学习到的LoRA，将其存储在TaskKnowledgeBank中，并根据与嵌入相似度来回忆相关的过去LoRA以初始化新任务，从而优化活动子空间。实证结果表明，在Split-CIFAR-100上循环恢复时间减少了十倍，并且在5-Datasets基准…
-
新方法将持续学习重构为基于检索的记忆管理
研究人员推出了一种新颖的持续学习方法——神经子空间重分配（NSR），该方法将持续学习过程视为参数子空间内的记忆管理。NSR将低秩适配（LoRA）模块视为可压缩和可检索的记忆单元，使用SVD对其进行压缩并存储在任务知识库（TaskKnowledgeBank）中。系统根据嵌入相似性回忆相关的过往LoRA以预热新任务并重新分配活动子空间，同时通过蒸馏保护先前任务。实证结果表明，NSR显著减少了周期性恢复时间，并以最小的遗忘实现了高精度，突出…
-
研究人员发现输出标签空间是持续学习模型中的隐私泄露点
研究人员发现了一种新的机器学习模型隐私漏洞，该漏洞源于输出标签空间而非训练数据本身。这种侧信道在标签空间随时间演变的持续学习场景中尤为重要。为解决此问题，该论文提出了持续学习的差分隐私形式化，并引入了两种缓解泄露的方法：将差分隐私应用于标签发布或利用大型公共标签空间。在Split-CIFAR-100和Split-ImageNet-R上的实验表明，与现有方法相比，准确性和隐私保证均得到提高。