CIFAR-10
PulseAugur coverage of CIFAR-10 — every cluster mentioning CIFAR-10 across labs, papers, and developer communities, ranked by signal.
- instance of ResNet-20 90%
- instance of CIFAR10-DVS: An Event-Stream Dataset for Object Classification 90%
- instance of CIFAR-100 70%
- instance of Fashion-MNIST 70%
- instance of alphaXiv 70%
- instance of DagsHub 70%
- instance of The Street View House Numbers Dataset 70%
- instance of Tiny-ImageNet 70%
- used by ResNet-18 70%
- used by Tiny-ImageNet 70%
- instance of ResNet-18 70%
- used by The Street View House Numbers Dataset 70%
19 天有情绪数据
-
新的电源侧信道攻击可从嵌入式设备的电源轨迹推断机器学习训练数据
研究人员开发了一种新颖的电源侧信道成员推断攻击（PSCMIA），该攻击可以确定特定数据样本是否用于训练嵌入式机器学习模型。该方法绕过了依赖模型输出（如预测概率或标签）的传统攻击，而是分析模型执行期间的功耗轨迹。PSCMIA 在各种数据集、模型架构（FC 和 CNN）和嵌入式平台上都显示出有效性，实现了高 ROC-AUC 值，并在许多配置中优于仅标签攻击。
-
新的线性规划方法无需标签即可修剪数据集
研究人员开发了一种新颖的数据集修剪方法，该方法使用线性规划来选择代表性数据子集，而无需标签或模型训练。该方法将无偏子集选择重新表述为方差最小化问题，并从嵌入空间属性推导出几何标准。在 CIFAR-10、MNIST 和 CelebA 基准上的实验表明，该方法在各种数据预算下，在测试准确性方面可媲美甚至超越均匀采样，并且优于现有的几何方法，尤其是在较小的预算下。该框架通过增强小批量多样性，在减少随机梯度方差方面也具有优势。
-
新分析详细介绍了扩散采样器的误差界限
研究人员分析了Karras等人于2022年开发的（一阶）确定性扩散采样器（EDM）。他们的工作将局部离散化误差与其后续学习步骤的放大分离开来，证明了局部误差在步长上是普遍有界的且呈二次方关系。然而，误差传播取决于学习到的网络，在高斯混合模型和CIFAR-10模型上的实验说明了稳定性机制。
-
新的 Koopman 观测器方法加速扩散模型
研究人员开发了一种名为观测校正 Koopman 框架的新方法来加速扩散模型。该技术使用廉价、新计算的特征来校正特征缓存的预测，而特征缓存通常依赖于过去计算的激活。通过识别描述浅层和深层网络特征的有限维 Koopman 近似，该框架可以预测昂贵的深层特征的演变，同时浅层特征创新可以校正预测状态。这种方法在 CIFAR-10 和 ImageNet 子集上显示出 Inception 特征 MSE 的降低，并在不重新训练去噪器的情况下实现了比…
-
新的框架 DRO-Augment 通过 Mixup 增强提高了神经网络的校准性能
研究人员开发了 DRO-Augment，这是一个旨在提高深度神经网络在使用基于 Mixup 的数据增强时的校准性能的新框架。该方法集成了 Wasserstein Distributionally Robust Optimization (W-DRO)，以解决增强性能越强、对抗损坏数据的鲁棒性越好，但校准误差越大的权衡问题。DRO-Augment 在 CIFAR-10 和 CIFAR-100 等数据集上显著降低了校准误差，同时保持了准确…
-
新的优化器KO通过动力学理论增强神经网络精度
研究人员推出了一种新颖的神经网络优化模块KO（Kinetics-inspired Optimizer），该模块从动力学理论和偏微分方程中汲取灵感。这个即插即用的模块通过源自玻尔兹曼输运方程的随机相互作用来增强标准的梯度更新，旨在提高参数多样性并防止权重凝结，从而可能降低泛化能力。在CIFAR-10/100和ImageNet等图像分类基准以及大规模语言模型预训练上的理论分析和实验结果表明，与现有方法相比，KO在计算开销极小的情况下提高了准确性。
-
新的谱扩散策略提高了图像生成质量
研究人员开发了一种新颖的能量自适应噪声调度和白化策略，用于图像生成的谱扩散模型。这项新方法在提交给arXiv的论文中进行了详细介绍，旨在通过将前向扩散过程与自然图像的光谱能量分布对齐，来提高扩散模型的效率和质量。在CIFAR-10数据集上的实验显示，Fréchet Inception Distance显著降低，表明图像生成能力得到增强。
-
果蝇连接组被重新用于人工智能任务，在计算机视觉方面展现出潜力
研究人员已经证明，果蝇的神经连接组可以被重新用于执行人类设计的认知任务。通过使用 MaleCNS v1.0 连接组作为固定的网络拓扑，模型在有界加法和基础关系语言任务上取得了高精度。同样，果蝇的视觉连接组在集成到名为 FlyVision 的架构后，在通用计算机视觉任务中表现出有效性，在 MNIST、CIFAR-10 和 ImageNet-1K 等基准测试中取得了具有竞争力的准确率，并且参数量少于 ResNet18 等传统模型。这些研究…
-
新方法延迟扩散模型记忆，延长泛化能力
研究人员开发了一种名为质量门控去白化（QGD）的新方法，用于控制扩散模型中训练数据的记忆。该技术旨在延迟模型开始复制训练样本的时间点，从而延长有用泛化的周期。QGD通过保持快速的初始更新阶段，然后逐渐恢复动量来工作，并通过分析将不同类型的记忆分开。在CIFAR-10子集上进行测试时，QGD显著扩展了扩散模型的有用区间，并与标准SGD相比减少了复制，同时还实现了更好的FID分数。
-
新研究探索神经符号AI集成与可解释性
两篇新研究论文探讨了符号推理与神经网络的集成。第一篇论文《神经符号AI的基于规则的语言》调查了Datalog和概率逻辑程序等现有的基于规则的语言，并分析了它们在各种AI领域的应用。第二篇论文介绍了CRISP，一个将神经网络的决策过程重构为可解释子句的框架，从而实现了从输入特征到输出的符号追踪。
-
新理论解释并缓解了AI架构中的表征坍塌问题
研究人员开发了一个新的理论框架，用于理解和缓解联合嵌入预测架构（JEPAs）中的表征坍塌问题。通过分析早期训练过程中的梯度流，他们识别出影响稳定性的驱动和衰减的竞争效应。该分析促成了ResidualPred的引入，这是一种Transformer预测器，在各种基准测试和I-JEPA预训练中提高了下游准确性。
-
研究论文将卷积神经网络拓扑结构与可训练性联系起来，而非仅仅层数
一篇新的研究论文探讨了卷积神经网络（CNN）的名义深度与其可训练性之间的关系，并引入了“有效深度”的概念。研究发现，虽然名义深度（层数）和有效深度都与准确率相关，但架构拓扑结构起着至关重要的作用。像ResNet和GoogLeNet这样的架构可以通过保持比其名义深度更低的有效深度来受益于增加的深度，这种现象被称为“有效深度悖论”。
-
新方法提高生成式AI图像合成的速度和质量
研究人员开发了一种用于流图蒸馏的新颖方法，这是一种用于快速生成图像的生成式AI技术。他们的方法涉及一种几何感知的重参数化，该方法调整分配给生成ODE轨迹不同部分的时间。通过为具有高法向加速度的片段分配更多的“学生时间”，模型可以更有效地学习过渡，从而提高样本质量并加快生成速度，尤其是在单步图像合成方面。
-
新方法通过推测性采样技术加速人工智能推理 · 已追踪 2 个来源
两篇新的研究论文介绍了加速人工智能模型推理的方法。第一篇，Rank-Aware Speculative Sampling (RASS)，通过对候选草稿进行排名并优化其选择以最小化与目标模型输出的差异，改进了现有基于树的推测性采样技术在扩散模型上的应用。在匹配的计算预算下，RASS 在 CIFAR-10 上的速度比 Diffusion Greedy Rejection Sampling (D-GRS) 快高达 20%。第二篇论文提出了 …
-
新基准 SimplexUQ 评估单纯形值预测上的共形不确定性
研究人员推出了 SimplexUQ，这是一个新颖的框架和基准，旨在评估共形预测方法在处理单纯形值预测（如概率分布）中的不确定性方面表现如何。该基准包含 12 个任务，涵盖合成和真实世界场景，如类别概率和主题混合，旨在衡量即使满足边际覆盖率保证时也可能出现的覆盖率不均匀分布。初步比较显示，虽然全局校准可能看起来有效，但特定层可能严重覆盖不足，并且像 Mondrian 校准和 BatchMVP 这样的不同包装器在减少差异和计算成本方面提供…
-
新的脉冲自注意力方法减少了训练-推理不匹配
研究人员开发了一种名为并行时序对齐脉冲自注意力机制（PT-SSA）的新方法，以解决脉冲神经网络训练和推理中的差异。该方法重建虚拟脉冲切片并并行计算注意力，显著减少了训练和推理之间的不匹配。自适应版本Adaptive PT-SSA通过学习重缩放因子进一步提高了性能，在CIFAR-100和ImageNet-1K等基准测试中取得了显著的准确性提升。
-
自动化框架EXAQC演进量子电路用于图像分类
研究人员开发了一个名为EXAQC的进化框架，用于自动发现用于图像分类任务的最佳量子电路架构。该框架将参数化量子电路（PQC）与经典神经网络相结合，解决了为特定应用手动设计量子电路的挑战。EXAQC在MNIST、Fashion-MNIST和CIFAR-10等数据集上表现出色，在可训练参数数量远少于传统CNN的情况下实现了高精度。
-
新框架协同优化边缘设备的神经网络和硬件
研究人员开发了一个新颖的框架，专门用于优化多核边缘加速器的早退神经网络（EENNs）。该框架联合优化网络架构、量化和硬件部署，以提高能效并降低延迟。通过将这些方面整合到统一的神经架构搜索（NAS）过程中，该系统可以识别高效的工作负载映射并提供准确的性能估算。在CIFAR-10上的实验表明，与静态基线相比，能耗-延迟乘积显著降低，凸显了动态推理在边缘设备上协同设计的重要性。
-
Argus 系统预测云中断以节省训练进度
研究人员开发了 Argus，这是一个 Kubernetes 运算符，旨在减轻在 Amazon EKS 等云平台上进行训练时的数据丢失。该系统旨在预测和处理 EC2 Spot 实例等服务的服务中断，这些服务可能会在短时间内被收回。在 CIFAR-10 测试平台上进行的实证研究表明，Argus 可以成功地检查点并恢复训练，只丢失正在进行的 epoch，从而在昂贵的、多节点的训练作业中保留大量进度。
-
研究论文质疑对比学习中共享温度的假设
一篇新的研究论文探讨了概率对比学习中共享温度与角度尺度之间的关系，特别是在高维设置下。该研究使用 von Mises-Fisher (vMF) 概率分数，证明了共享温度并不一定意味着类别表示共享相似度尺度。该研究准确预测了在 CIFAR-LT 和 ImageNet-LT 等真实世界数据集上的决策边界和特征梯度的变化，表明 vMF 浓度在此领域中的决策和学习尺度中起着至关重要的作用。