Fashion-MNIST
PulseAugur coverage of Fashion-MNIST — every cluster mentioning Fashion-MNIST across labs, papers, and developer communities, ranked by signal.
- instance of The Street View House Numbers Dataset 70%
- instance of CIFAR-100 70%
- used by The Street View House Numbers Dataset 70%
- used by ResNet18 70%
- used by residual neural network 70%
- instance of residual neural network 70%
- used by federated learning 70%
- instance of federated learning 70%
- used by multilayer perceptron 70%
- competes with AdamW 70%
- used by ResNet-18 70%
- used by DagsHub 60%
9 天有情绪数据
-
MetaLearnNCA: 去中心化的少样本元学习与神经元胞自动机
研究人员推出 MetaLearnNCA,一个利用交互式神经元胞自动机 (NCAs) 的少样本元学习新框架。这种去中心化方法在推理时无需解析梯度即可适应新任务,而是依赖于耦合 NCAs 的动力学交互。MetaLearnNCA 在分布内任务上表现出竞争力,并在各种数据集上显示出显著的分布外迁移增益,在少样本场景中优于传统元学习器。
-
新研究探索神经符号AI集成与可解释性
两篇新研究论文探讨了符号推理与神经网络的集成。第一篇论文《神经符号AI的基于规则的语言》调查了Datalog和概率逻辑程序等现有的基于规则的语言,并分析了它们在各种AI领域的应用。第二篇论文介绍了CRISP,一个将神经网络的决策过程重构为可解释子句的框架,从而实现了从输入特征到输出的符号追踪。
-
自动化框架EXAQC演进量子电路用于图像分类
研究人员开发了一个名为EXAQC的进化框架,用于自动发现用于图像分类任务的最佳量子电路架构。该框架将参数化量子电路(PQC)与经典神经网络相结合,解决了为特定应用手动设计量子电路的挑战。EXAQC在MNIST、Fashion-MNIST和CIFAR-10等数据集上表现出色,在可训练参数数量远少于传统CNN的情况下实现了高精度。
-
Kolmogorov-Arnold网络在扩展性、偏微分方程和可解释性方面展现出潜力 · 跟踪3个来源
研究人员正在探索Kolmogorov-Arnold网络(KANs)的能力和理论基础,这是一种替代传统多层感知器(MLPs)的方法。一项研究调查了KANs的神经扩展定律以及它们的可学习激活函数如何随着数据集的扩展而演变,发现图像分类和科学回归任务具有不同的扩展行为。另一篇论文将KANs应用于求解自由边界偏微分方程,证明了与物理信息神经网络相比,它们在准确解析复杂区域和界面方面的有效性。第三篇论文通过检查Fisher Simplicity…
-
新的T-ARC聚类方法利用拓扑纠正k-means的几何偏差
研究人员推出了一种新颖的拓扑感知随机聚类方法T-ARC,旨在克服传统k-means聚类固有的几何偏差。该新方法通过将数据的底层结构建模为潜在图,将拓扑信息直接整合到优化目标中。T-ARC结合了数据保真项和图割惩罚项,使用由持久同调(persistent homology)启发的随机块模型来捕获多尺度连通性。在合成和真实世界数据集(包括Fashion-MNIST)上的实验表明,T-ARC在恢复复杂拓扑结构方面表现优于k-means,并且…
-
新的脉冲神经网络架构增强了图像和事件流处理 · 跟踪3个来源
研究人员开发了一种新颖的脉冲神经网络(SNN)架构,称为多深度时间融合(MDTF),旨在通过首次脉冲到达时间延迟来处理静态图像和事件流。这种新设计集成了类似残差的连接和多深度特征聚合,在对齐时保留早期时间证据,同时纳入更深层的特征。MDTF框架在多个基准数据集上得到了验证,包括MNIST、Fashion-MNIST、CIFAR-10和N-MNIST,在完全局部学习机制下展现出强大的分类性能,并在变异性更高的任务上优于传统的STDP/R…
-
新的尺度不变网络提高了图像尺度泛化能力
研究人员开发了新的尺度不变高斯导数残差网络(GaussDerResNets),旨在改进深度学习模型处理不同尺度图像的方式。这些网络将残差跳跃连接融入高斯导数层,实现了更深层、精度更高、尺度泛化能力更强的架构。在STL-10、Fashion-MNIST和CIFAR-10数据集的重缩放版本以及STIR数据集上的实验证明了GaussDerResNets在处理尺度变化方面的有效性。
-
新研究通过效率和性能提升推进扩散语言模型 · 已追踪10个来源
研究人员正在开发改进扩散语言模型(DLM)的新方法,重点关注效率和性能。“Clock Diffusion”引入了具有位置相关噪声调度的半自回归连续DLM,在OpenWebText上达到了最先进的界限,并在GSM8K上超越了基线。另一种方法ITC-MoE使用重要性引导的令牌感知压缩来降低混合专家DLM的计算和存储成本,同时保持生成质量。其他进展包括分层连续扩散语言模型(HC-DLM),它将离散令牌生成与连续潜在轨迹相结合;自排斥采样(S…
-
新框架为联邦贝叶斯学习模型认证安全性
研究人员开发了一个新框架,用于认证联邦学习场景下贝叶斯神经网络的安全性。该方法称为后验事件传输(Posterior Event Transport),解决了局部安全证书不能直接保证聚合模型安全性的挑战。该框架将局部后验事件通过聚合过程进行传播,为部署模型的安全概率提供了一个下界。在MNIST和Fashion-MNIST数据集上的实验表明,这种传输的证书范围可以从22.51%到46.89%,而直接的全局证书达到了72.05%到91.39…
-
新的DDLGN框架提升TFHE加密推理速度
研究人员开发了EI-DDLGN,一个使用深度可微分逻辑门网络(DDLGN)和Torus全同态加密(TFHE)的高效加密推理新框架。该方法利用DDLGN固有的布尔性质来匹配TFHE的执行模型,从而降低了与传统算术神经网络相比的推理延迟。该研究引入了一种模型固定线路PBS旁路策略,通过消除不必要的操作而不改变网络拓扑来进一步优化性能。在MNIST和Fashion-MNIST等基准数据集上的评估表明,EI-DDLGN提供了卓越的准确性-延迟…
-
QSTAR框架通过选择性路由不确定的预测来增强量子迁移学习
研究人员开发了QSTAR,一个新颖的量子迁移学习框架,该框架将不确定的预测选择性地路由到量子分支。这种方法旨在阐明量子组件在机器学习任务中的效用。在Fashion-MNIST上使用ResNet18骨干进行的实验表明,QSTAR,特别是带有自适应KetGPT-QTL头的QSTAR,取得了具有竞争力的准确性,在低置信度样本上优于自适应经典基线。
-
Sakana AI 提出层局部训练方法以训练 1000 层网络
Sakana AI 的研究人员开发了一种名为增强拉格朗日预测编码 (PC-ALM) 的新颖训练方法,它提供了一种传统的反向传播的层局部替代方法。这种新方法允许训练非常深(多达 1000 层)的神经网络,同时保持接近反向传播的性能。该方法已在 MNIST 和 Fashion-MNIST 等小型图像基准测试中得到验证,与标准的预测编码相比,在深层窄网络架构中显示出显著的改进。
-
SakanaAI 提出 PC-ALM 作为深度网络反向传播的替代方案
SakanaAI 推出了增强拉格朗日预测编码 (PC-ALM),这是一种用于训练深度神经网络的新颖方法,为传统反向传播提供了一种替代方案。PC-ALM 利用层局部动力学系统传播监督信用,能够训练深度高达 1000 层的网络,性能与反向传播相当。该方法从预测编码中汲取灵感,旨在模仿生物学习机制,有望在神经形态硬件上实现更节能的深度学习。
-
Hopfield模型展现分层原型涌现
研究人员开发了一种使用具有多项式激活的密集Hopfield网络的联想记忆分层模型。该模型旨在理解像扩散模型这样的复杂架构如何学习分层相关性并泛化以创建新数据。该研究分析推导了每个层次的稳定性条件,并使用原型重建来模拟泛化,发现信息量达到准多项式级别就足以超越特定记忆或层次内的组进行泛化。研究结果在Fashion-MNIST数据集上得到观察,显示出与记忆数量和激活函数锐度相对应的相图。
-
新的监督赫布学习算法用于脉冲神经网络,性能优于STDP
研究人员开发了一种新的无梯度监督学习算法,用于脉冲神经网络(SNN),称为监督尖峰一致性依赖可塑性(Supervised SADP)。该方法直接将类别信息嵌入赫布可塑性计算中,这与先前使用奖励调制的做法不同。在基准数据集上,Supervised SADP 的性能优于奖励调制的尖峰时间依赖可塑性(STDP),在 MNIST 和 Fashion-MNIST 上实现了显著更高的准确率,并且训练速度更快。
-
对监督学习模型进行数据投毒攻击评估
一篇新发表在arXiv上的研究论文评估了两种数据投毒攻击——标签翻转和后门投毒——在常见监督学习模型上的有效性。研究发现,标签翻转显著降低了逻辑回归和线性SVM模型的性能,而随机森林则保持更稳定。然而,后门投毒被证明非常有效,在所有测试的模型和数据集上实现了近乎完美的攻击成功率,同时保持了高清洁测试准确率,凸显了此类定向攻击的隐蔽性。
-
前向-前向算法通过睡眠剥夺缓解技术得到改进
研究人员开发了减轻模拟睡眠剥夺对前向-前向算法负面影响的方法。通过实施替代激活、优化损失函数、阈值调整以及通过减少正向传递来模拟周期性休息等策略,旨在提高学习效率。该研究还探讨了咖啡因类刺激在这些条件下提升性能的潜力。在 MNIST 和 Fashion-MNIST 数据集上的实验显示,在严重睡眠剥夺的情况下,准确率显著提高,增幅从 2% 到 62% 不等,增强了算法的鲁棒性和认知对齐能力。
-
新的FLIWBO方法通过自适应输入变换增强贝叶斯优化
研究人员开发了有限库输入变换贝叶斯优化(FLIWBO)方法,这是一种旨在提高高斯过程贝叶斯优化(GP-BO)在黑箱函数效率的新颖方法。传统的GP-BO方法在输入几何形状与核的假设不匹配时(例如对数缩放的超参数)常常遇到困难。FLIWBO通过从有限库中选择最优输入变换来解决这个问题,使其能够适应输入空间并加速学习,同时保持收敛保证。在包括超参数优化和多智能体系统设计在内的各种基准测试中的实验表明,FLIWBO在具有错误指定几何形状的场景…
-
研究发现自编码器参数可作为数据表示 · 跟踪2个来源
研究人员提出,自编码器模型的参数可以作为其训练数据的密集向量表示。该假设通过理论分析和实验进行了检验,结果显示自编码器参数矩阵的奇异值与训练数据协方差矩阵的特征值之间存在关联。研究结果表明,这些基于参数的向量可以准确地区分在不同数据子集上训练的模型,为在没有复杂算法或原始样本的情况下表示数据提供了一种新颖的方法。
-
RecKAN引入可学习递归多项式基以增强神经网络
研究人员推出了一种新颖的Kolmogorov-Arnold网络(KAN)方法RecKAN,该方法增强了其学习复杂函数的能力。与使用固定基函数的可学习函数的前代KAN变体不同,RecKAN定义了一个递归多项式基,其系数与网络一同学习。这使得RecKAN能够根据特定问题调整其基函数,超越了经典多项式族的局限性。在包括图像分类和时间序列预测在内的各种数据集上的实验表明,RecKAN在需要复杂局部结构的任务中,其性能优于现有的KAN基线和标准的MLP头。