Manchester Literary and Philosophical Society
PulseAugur coverage of Manchester Literary and Philosophical Society — every cluster mentioning Manchester Literary and Philosophical Society across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
新的 G^2MLP 框架将图几何从 GNN 提炼到 MLP
研究人员开发了一个名为图几何感知 MLP (G^2MLP) 的新提炼框架，以提高 MLP 在使用图神经网络 (GNN) 知识进行训练时的性能。现有方法通常无法捕捉图诱导的几何结构，导致在稀疏图上出现频谱欠拟合，在密集图上出现频谱过拟合。G^2MLP 通过使用 Ollivier-Ricci 曲率来指导提炼过程，在预测级和表示级对齐之间分配监督，从而解决这些问题。这种方法在节点分类基准测试中始终优于无图提炼基线，并且可以应用于各种 GNN 架构。
-
研究人员使用双曲几何来解释深度网络训练动态
一篇新的研究论文介绍了一种通过在双曲几何中表示深度神经网络的训练动态来理解其训练动态的新方法。该方法构建了时态参数图，这是网络权重随时间的快照，并将这些图嵌入到庞加莱模型中。这种几何表示旨在捕捉网络在训练过程中不断演变的结构和自组织，从而提供超越单一检查点分析的内在可解释性。在回归和分类任务上的实验证明了这种双曲时态表示框架的有效性。
-
Airfoil2Vec: 神经代理模型加速气动预测
研究人员开发了Airfoil2Vec，这是一种新颖的神经代理模型，旨在通过比传统计算流体动力学方法显著的速度提升来预测翼型气动性能。该模型利用谱几何条件，结合了轮廓、弯度和厚度谱，以准确捕捉压力和速度场。配套的数据集包含10,000个产生下压力的翼型的RANS模拟，能够评估模型在各种翼型设计和流动条件下的泛化能力。
-
RecMorph架构在机器人通用形态控制方面取得进展
研究人员开发了RecMorph，一种新颖的拓扑引导空间递归架构，专为机器人通用形态控制而设计。该架构利用递归序列计算促进跨肢通信和表示转换，使单一策略能够适应不同的物理角色和体型。在UNIMAL任务上，RecMorph展现出卓越的性能和效率，在训练性能和推理吞吐量方面优于现有控制器，并且在转移到实体四足机器人时也显示出有效性。
-
神经网络中的 Grokking 转换已量化，数据复杂度是关键
研究人员量化了神经网络中从记忆到泛化的转换现象，即 grokking。他们发现 grokking 发生时间存在幂律标度关系，表明数据复杂度比模型容量更重要。研究还确定了与权重衰减相关的清晰相边界，并观察到转换过程中权重范数的单调压缩，这表明隐式正则化倾向于更简单的解决方案。
-
新研究详细介绍了分布式机器学习系统的标签翻转攻击
一篇新的研究论文探讨了分布式机器学习系统中梯度攻击的潜在危害，特别是关注标签翻转。该研究将这些攻击形式化为一个约束优化问题，并推导出一个贪婪的标签选择规则，该规则在均值聚合下对攻击者来说是可证明最优的。在实践中，研究表明优化的标签翻转可以显著降低模型准确性，甚至可以转移到其他聚合方法，如中位数和截尾均值，从而构成重大的可用性威胁。
-
新的神经架构搜索（NAS）方法优化神经网络的紧凑性和性能
研究人员开发了一个新的神经架构搜索（NAS）框架，该框架使用连续松弛来更有效地优化神经网络架构。这种方法，包括NAS-NG和NAS-MA等方法，允许在复杂、组合式搜索空间上进行可微分优化。在MNIST和CIFAR-10数据集上使用MLP和CNN模型进行的实验表明，这些方法可以识别出具有竞争力或改进的预测性能的紧凑型架构，其性能优于DARTS等现有方法，并减少了参数数量。
-
新研究使用持久同调分析AI模型拓扑
研究人员分析了预测编码网络（PCNs）中学习到的表示的拓扑结构，PCNs是一种受神经科学启发的双向架构。通过对在合成数据和MNIST上训练的PCNs进行持久同调分析，他们观察到较小的模型倾向于比较大的模型更早地简化跨层的拓扑特征。研究还发现简化深度与重建误差之间存在相关性，表明较晚的简化会导致更好的重建。此外，PCNs简化连通分量的时间始终晚于匹配的多层感知机（MLPs），这表明模型容量和PCNs的循环动力学影响着这一简化过程。
-
CASA-SDF框架增强室内场景的三维重建
研究人员推出了一种用于室内环境高保真三维重建的新型框架CASA-SDF。该方法采用课程感知空间自适应策略来应对几何异质性挑战。CASA-SDF利用混合空间自适应不确定性退火进行像素级监督，以及曲率感知局部自适应密度变换来增强薄结构的表示。实验表明，在不牺牲平面区域稳定性的情况下，表面完整性和细节恢复得到了改善。
-
MetaNCA 学习自我组织神经网络权重
研究人员推出了一种名为 Meta Neural Cellular Automata (MetaNCA) 的新框架，该框架旨在学习能够自我组织人工神经网络权重的局部规则。该方法利用一个学习到的规则网络，采用带有线性注意力的 Weight Transformer，通过计算图上的局部交互来迭代更新任务网络权重。MetaNCA 已证明其能够为包括 MLP、CNN 和 ResNet 在内的各种网络架构生成权重，并在 MNIST 和 CIFAR-…
-
神经网络对称性读出依赖于位置编码
一篇新论文探讨了神经网络权重内的对称性如何受到位置编码（PE）和用于分析的特定读出方法的影响。研究人员发现，即使底层函数具有某些对称性，PE 也可以隐藏或揭示它们。这种依赖性通过在 2D 有符号距离函数上训练的 MLP 得到证明，其中不同的 PE，如 DyadicAxisPE 和 TriAxisPE，在检测 D4 和 D3 旋转等对称性方面表现出不同的模式。
-
Spiking Neural Network Achieves In-Context Learning with Single Layer
研究人员开发了一种新颖的单层脉冲神经网络架构 DendriCL，该架构展示了上下文学习 (ICL) 能力。与依赖深度架构和隐式梯度下降的现有 AI 模型不同，DendriCL 利用单个树突室的亚阈值动力学来实现在线学习算法。这种方法使网络能够在不需要注意力机制、架构深度或推理时可塑性的情况下实现 ICL，并且在传统模型 falter 的基准测试中表现稳定。
-
新的 S-GAI 框架将数据集几何嵌入 MLP 权重
研究人员开发了 S-GAI，一种用于 Sigmoidal MLP 的新型初始化框架，可将数据集几何直接嵌入网络权重。该方法使用奇异值分解 (SVD) 从图像数据中估计类别的谱几何，创建比传统 Xavier 初始化更具信息量的初始化隐藏层。在 MNIST、Fashion-MNIST 和 CIFAR-10 上的实验表明，S-GAI 初始化模型在训练更少的情况下可达到可比的准确率，并且在隐藏层冻结时甚至优于随机初始化。
-
全分辨率MLP在医学密集预测中优于CNN和Transformer
研究人员开发了一个新的医学密集预测任务框架，该框架在全图像分辨率下利用多层感知机（MLP）。该方法旨在克服卷积神经网络（CNN）和Transformer的局限性，它们通常在下采样特征上运行，并会丢失关键的组织纹理信息。在六个数据集上的实验表明，全分辨率MLP框架在医学图像修复、配准和分割方面取得了最先进的性能。
-
GS-KAN 提供参数高效的Kolmogorov-Arnold网络替代方案
研究人员推出了一种新颖的架构GS-KAN，它提高了Kolmogorov-Arnold网络（KANs）的效率。通过利用共享基函数和可学习的线性变换，GS-KAN与标准的KANs相比显著减少了参数数量。这种方法使得KANs能够应用于高维场景，而这些场景之前由于参数爆炸而不可行，同时在函数逼近和分类等各种任务上取得了具有竞争力或更优的性能。
-
新的PURe网络显式模拟非线性特征交互
研究人员引入了乘积-单元残差网络（PURe），以更好地模拟科学和工程应用中的非线性特征交互。这些网络将乘法单元与残差连接相结合，以显式捕捉交叉特征耦合，从而提高可解释性和鲁棒性。在合成和真实世界数据集上的评估表明，与标准MLP相比，PURe在准确性、对噪声的鲁棒性以及有限训练数据下的性能方面均具有竞争力。
-
神经隐式学习从射频信号中重建三维几何
研究人员开发了GeRaF，一种使用射频（RF）信号进行三维几何重建的新颖方法。该方法利用神经隐式学习来克服射频传感固有的低分辨率和噪声挑战，与传统的RGB或LiDAR方法不同，射频传感可以穿透遮挡物。GeRaF结合了基于滤波器的渲染、基于物理的体积管线以及独特的无透镜采样策略，可在现实场景中实现毫米级几何重建。
-
New Ansatz Predicts Bayesian Deep Neural Network Performance
研究人员开发了一种新的近似方法来预测具有固定深度的贝叶斯深度神经网络（MLP）的泛化性能。该方法利用等效Wishart Ansatz来模拟分层经验核的涨落，从而能够在比例宽度范围内进行大偏差分析。该框架将深度网络中的表示学习过程简化为一组标量序参数，并通过识别局部核重整化机制将其扩展到卷积架构。
-
本地 SGD 工人分歧揭示了深度神经网络损失几何结构
研究人员开发了一种新颖的方法来理解深度神经网络的损失几何结构，方法是通过分析本地随机梯度下降 (SGD) 中的工人分歧。这种分歧在理论上被证明会受到梯度噪声和 Hessian 曲率的影响，它提供了一种具有成本效益的、无 Hessian 的损失景观主子空间估计器。对 MLP、CNN 和 Transformer 的实验证实，通过工人平均差距识别出的子空间能够有效地捕捉 Hessian 特征值空间主导部分内的梯度分量。
-
新的KAN变体解决了效率和硬件实现问题
研究人员开发了一种名为Kolmogorov-Arnold Fourier Networks (KAFs) 的Kolmogorov-Arnold Networks (KANs) 新变体，以解决参数效率和高频特征捕获方面的局限性。KAFs使用谱表示和可训练的随机傅里叶特征重新参数化网络，降低了参数复杂性，并提高了在计算机视觉和NLP等各种任务上的性能。同时，另一项研究工作探索了使用可重构非线性处理单元 (RNPUs) 的物理模拟KAN架构…