CIFAR-100
PulseAugur coverage of CIFAR-100 — every cluster mentioning CIFAR-100 across labs, papers, and developer communities, ranked by signal.
- instance of Neural architecture search 90%
- instance of Class Incremental Learning 90%
- used by ResNet-18 70%
- used by Tiny-ImageNet 70%
- instance of federated learning 70%
- used by CatalyzeX 70%
- used by ScienceCast 70%
- used by Gotit.pub 70%
- used by alphaXiv 70%
- used by Imagenet 1k 70%
- instance of ResNet-18 70%
- instance of ScienceCast 70%
13 天有情绪数据
-
ProtoSeam 方法在标准基准测试中将分类器准确率提升高达 6%
研究人员推出了一种名为 ProtoSeam 的新方法,通过重新构建监督分类来提高分类器准确率。该技术涉及在语义接口处分割神经网络,并为每个类别插入一个可学习的原型。在训练过程中,共识惩罚将初始网络层的输出拉向这些原型,而第二层则在围绕原型的样本上进行训练。这种方法在 ResNet 和视觉 Transformer 架构上,于 CIFAR-10、CIFAR-100 和 TinyImageNet 等数据集上,将测试准确率提高了多达六个百分点…
-
新框架SplitReAlign增强了联邦遗忘功能,可针对性地移除知识
研究人员推出了一种新颖的拆分联邦遗忘框架SplitReAlign。该方法解决了在分布式神经网络中移除特定知识的挑战,同时即使在不对称更新约束下也能保持整体效用。SplitReAlign通过创建由共享语义锚点协调的独特表示子空间来实现遗忘信息的定向重新对齐。在CIFAR-10和CIFAR-100数据集上的实验表明,SplitReAlign在各种设置下均取得了最接近重新训练的结果,其中仅服务器(Server-only)方法在更新受限的情况下尤其有效。
-
新的CF-Prop方法可在无采样情况下实现精确的贝叶斯层不确定性
研究人员开发了CF-Prop,一种用于贝叶斯神经网络中不确定性传播的新颖方法。该技术利用特征函数精确确定贝叶斯ReLU层的输出分布,即使在非高斯情况下,也无需采样。这使得一种高效的变分推断算法CF-VI成为可能,该算法在CIFAR-100等数据集上表现出优越的校准能力,并能准确捕捉重尾保险索赔数据上的尾部不确定性。
-
新的SCR方法可检测深度神经网络中的后门中毒样本
研究人员开发了一种名为语义反事实残差化(SCR)的新方法,用于检测深度神经网络中的后门中毒样本。该技术使用一小组干净的参考样本来解释数据的正常变化,从而能够识别可能与类别分布混淆的中毒样本。在CIFAR-10、CIFAR-100和Tiny ImageNet数据集上的实验表明,SCR的真正阳性率超过99.5%,假阳性率低于2%,优于现有的检测方法。
-
新方法解决图像分类中的无监督类别增量学习问题
两篇新的研究论文介绍了用于图像分类的无监督类别增量学习的新方法。PatchAdaNet 利用自动编码器在不存储旧数据的情况下持续更新特征表示,采用全局特征质心和弹性权重巩固来防止漂移。另一方面,RetroCBM 专注于保留将视觉特征与视觉-语言模型嵌入空间联系起来的统计数据,从而在旧训练样本被丢弃后仍能监督新概念。这两种方法都旨在提高模型在顺序学习场景中的性能和可解释性。
-
LLM控制器BRED改进自主研究决策
研究人员开发了BRED(基于证据的回合间决策),一种新颖的基于LLM的控制器,专为自主研究设计。BRED根据累积的实验证据而非仅仅是提案来决定是改进解决方案还是开始新的研究方向。在三个任务的基准测试中,BRED表现出显著的改进,包括ETTh1上的MAE降低4.80%,以及SST-2和CIFAR-100基准测试的准确性提高。与没有完整证据轨迹相比,当系统能够访问完整证据轨迹时,其性能明显更好。
-
新的训练方法增强了 LLM 编辑神经网络权值的能力
研究人员开发了一种名为“可编辑就绪训练”(Edit-Ready Training, ERT)的新方法,以提高大型语言模型(LLMs)直接修改神经网络权值的能力。在涉及视觉模型的实验中,与标准训练方法相比,ERT 在 LLM 编辑的成功率方面显示出显著提高。具体而言,在 CIFAR-100 和 Entity-30 等数据集上,当网络通过 ERT 准备好进行重新标记和错误校正等任务时,GPT-6 Astra 和 Claude (Opus …
-
New SSL Method Centroid Spectral Coupling Achieves Top Accuracy
研究人员推出了一种新颖的单项自监督学习(SSL)目标函数——Centroid Spectral Coupling(CSC)。CSC 在无需多个加权损失项的情况下,隐式地处理了视图对齐、表示多样性和防止坍塌的问题。在 CIFAR-10、CIFAR-100 和 Imagenette 数据集上的实验表明,与现有的非对比学习方法相比,CSC 在线性评估和 kNN Top-1 准确率方面均取得了优越的性能。
-
SWAM框架通过显著性加权合并提升视觉Transformer效率
研究人员开发了SWAM(显著性加权非对称合并),一个旨在提高视觉Transformer(ViTs)效率的新框架。SWAM通过在处理过程中减少Token数量来解决ViTs的计算成本问题。该方法结合了显著性感知机制,使用余弦相似度和显著性惩罚来选择Token,并通过非对称聚合优先处理更显著的Token。SWAM使用DeiT-Small骨干网络进行端到端训练,在CIFAR-100、TinyImageNet和ImageNet-100等各种图像…
-
新框架将神经网络参数运动与输出行为联系起来
研究人员引入了“Mode Dynamics”,一个旨在通过分析神经网络参数的协同运动来理解其学习方式的新框架。该框架将参数更新分解为集体模式,并将这些模式与其对模型输出的具体影响联系起来。使用图像和语言模型(包括 CIFAR-100 和 Pythia 70M)进行的实验表明,少数主导模式可以准确地重构模型行为,并且在训练过程中抑制这些模式会对准确性产生负面影响。
-
关于圆锥分类头的新理论解释了特征约束
研究人员开发了一个新的理论框架来理解机器学习中使用的圆锥分类头。该框架引入了“渐近裕度”的概念来分析类别分数如何相对增长,并证明了有界区域不一定会约束特征。研究表明,即使在有界区域内也可以实现正裕度,并且当裕度为正时,损失仅沿发散特征趋近于零。在CIFAR-10和CIFAR-100数据集上的实验验证了这些理论预测。
-
新的BiTE方法通过提高准确性来增强二值神经网络
研究人员推出了一种新颖的二值神经网络(BNN)增强方法——BiTE(Branch-Preserving Binary Threshold Expansion)。BiTE通过评估特征方向与多个阈值的关系,解决了传统BNN的表示能力限制,从而保留了更详细的激活信息。这种方法可以在特征方向的数量和响应的粒度之间实现可控的平衡。在BinaryViT上的实验表明,在CIFAR-10和CIFAR-100数据集上的准确性有所提高;而Binary V…
-
模型退火训练方法提高了数据效率和鲁棒性
研究人员推出了一种名为模型退火的新型训练技术,旨在提高机器学习的数据效率。该方法将训练分为多个阶段,学习率会先增加然后降低,每个降低后的状态都会存储在过去的网络迭代记忆中。然后,网络会从自身的知识中重新学习,结合原始标签和该记忆中的预测,特别是在学生模型和记忆模型不一致的地方。与标准的交叉熵训练和快照蒸馏相比,该方法在各种架构和数据集上都显示出准确性、校准性和鲁棒性的提高。
-
新的DPA算法改进了异构数据上的去中心化深度学习
研究人员推出了一种名为去中心化对偶平均法(DPA)的新算法,该算法专为在数据保留在每个代理本地的网络中训练深度学习模型而设计。DPA解决了数据异构性带来的挑战,数据异构性会显著影响模型性能。该算法采用本地准全局动量缓冲区来改进优化,而无需代理传输辅助跟踪变量。在图像分类基准测试上的实验表明,DPA的性能优于现有方法,尤其是在数据异构性高和通信稀疏的条件下,在可比的通信成本下实现了更高的测试准确率。
-
新的 CAFIN 框架提升了 GPU 上深度神经网络的训练速度
研究人员开发了 CAFIN,一个通过优化 GPU 上 Fisher 信息矩阵 (FIM) 的使用来显著加速深度神经网络训练的新框架。这种 GPU 原生 CUDA 内核融合方法将多个优化步骤集成到单个内核中,减少了内存分配并提高了执行效率。实验表明,CAFIN 可将 FIM 构建延迟降低高达 78.4%,优化器步骤延迟降低 2.1-26.9%,同时保持可比的收敛精度。
-
混合学习方法提高了CNN训练效率和准确性
研究人员开发了一种新颖的混合方法来加速卷积神经网络(CNN)的分布式训练。该方法结合了双批次学习方案(使用大和小批次大小来提高效率和泛化能力)和循环渐进学习方案(在训练过程中逐渐增加图像分辨率)。实验表明,这种混合技术可以显著减少训练时间,同时提高模型在CIFAR-100和ImageNet等数据集上的准确性。
-
新方法剖析机器学习模型中的Hessian质量
研究人员开发了一种评估机器学习中块对角曲率模型的新方法。该方法测量参数Hessian的块外分数,并分析组内曲率剖面。在CIFAR-100 ResNet-18和ResNet-50模型上的实验表明,尽管初始丢弃分数可能相似,但它们的剖面可能不同。研究还比较了不同的校正候选方案,发现仅块外Hessian作用会增加小批量损失,但组合候选方案可能提供更低的损失。
-
新的SSoG算子为视觉Transformer提供亚二次成本
研究人员开发了一种名为SSoG(可分离高斯和)的新空间算子,旨在取代视觉Transformer中计算成本高昂的自注意力机制。这种新颖的方法将与自注意力相关的二次成本降低到亚二次复杂度,从而使视觉Transformer能够更有效地处理更高的输入分辨率。SSoG还提供了理论优势,包括保证连续深度变体具有唯一解,并在高分辨率输入上展示了实际优势,如更高的准确性、参数效率以及显著更高的吞吐量和更低的内存使用量,与传统的密集注意力相比。
-
TrustMix 方法增强预训练模型应对分布偏移能力
研究人员推出了一种新颖的后验方法 TrustMix,旨在提高预训练模型在面对分布偏移时的鲁棒性。该技术通过将其预测分布与用户指定的后备分布相结合,使模型的推断行为变得明确且可控。随着与训练数据偏差的增加,TrustMix 会平滑地过渡到该后备分布,从而实现优雅降级,而无需重新训练模型。该方法已在表格、图像和自然语言处理等各种任务中证明了其有效性,在预测不确定性和校准方面有所改进。
-
新的 $S^3$-MoE 框架增强了大型语言模型的联邦学习
研究人员开发了一个名为 $S^3$-MoE 的新框架,用于在异构边缘设备上对大型语言模型进行联邦学习。这种服务器端稀疏分配方法旨在通过部分观测来提高专家相关性估计,并为误差和恢复提供理论保证。在 CIFAR-100 上的实验表明,$S^3$-MoE 比现有方法实现了更高的准确率,同时减少了客户端的专家加载。