Manchester Literary and Philosophical Society
PulseAugur coverage of Manchester Literary and Philosophical Society — every cluster mentioning Manchester Literary and Philosophical Society across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
神经网络对称性读出依赖于位置编码
一篇新论文探讨了神经网络权重内的对称性如何受到位置编码（PE）和用于分析的特定读出方法的影响。研究人员发现，即使底层函数具有某些对称性，PE 也可以隐藏或揭示它们。这种依赖性通过在 2D 有符号距离函数上训练的 MLP 得到证明，其中不同的 PE，如 DyadicAxisPE 和 TriAxisPE，在检测 D4 和 D3 旋转等对称性方面表现出不同的模式。
-
Spiking Neural Network Achieves In-Context Learning with Single Layer
研究人员开发了一种新颖的单层脉冲神经网络架构 DendriCL，该架构展示了上下文学习 (ICL) 能力。与依赖深度架构和隐式梯度下降的现有 AI 模型不同，DendriCL 利用单个树突室的亚阈值动力学来实现在线学习算法。这种方法使网络能够在不需要注意力机制、架构深度或推理时可塑性的情况下实现 ICL，并且在传统模型 falter 的基准测试中表现稳定。
-
新的 S-GAI 框架将数据集几何嵌入 MLP 权重
研究人员开发了 S-GAI，一种用于 Sigmoidal MLP 的新型初始化框架，可将数据集几何直接嵌入网络权重。该方法使用奇异值分解 (SVD) 从图像数据中估计类别的谱几何，创建比传统 Xavier 初始化更具信息量的初始化隐藏层。在 MNIST、Fashion-MNIST 和 CIFAR-10 上的实验表明，S-GAI 初始化模型在训练更少的情况下可达到可比的准确率，并且在隐藏层冻结时甚至优于随机初始化。
-
全分辨率MLP在医学密集预测中优于CNN和Transformer
研究人员开发了一个新的医学密集预测任务框架，该框架在全图像分辨率下利用多层感知机（MLP）。该方法旨在克服卷积神经网络（CNN）和Transformer的局限性，它们通常在下采样特征上运行，并会丢失关键的组织纹理信息。在六个数据集上的实验表明，全分辨率MLP框架在医学图像修复、配准和分割方面取得了最先进的性能。
-
GS-KAN 提供参数高效的Kolmogorov-Arnold网络替代方案
研究人员推出了一种新颖的架构GS-KAN，它提高了Kolmogorov-Arnold网络（KANs）的效率。通过利用共享基函数和可学习的线性变换，GS-KAN与标准的KANs相比显著减少了参数数量。这种方法使得KANs能够应用于高维场景，而这些场景之前由于参数爆炸而不可行，同时在函数逼近和分类等各种任务上取得了具有竞争力或更优的性能。
-
新的PURe网络显式模拟非线性特征交互
研究人员引入了乘积-单元残差网络（PURe），以更好地模拟科学和工程应用中的非线性特征交互。这些网络将乘法单元与残差连接相结合，以显式捕捉交叉特征耦合，从而提高可解释性和鲁棒性。在合成和真实世界数据集上的评估表明，与标准MLP相比，PURe在准确性、对噪声的鲁棒性以及有限训练数据下的性能方面均具有竞争力。
-
神经隐式学习从射频信号中重建三维几何
研究人员开发了GeRaF，一种使用射频（RF）信号进行三维几何重建的新颖方法。该方法利用神经隐式学习来克服射频传感固有的低分辨率和噪声挑战，与传统的RGB或LiDAR方法不同，射频传感可以穿透遮挡物。GeRaF结合了基于滤波器的渲染、基于物理的体积管线以及独特的无透镜采样策略，可在现实场景中实现毫米级几何重建。
-
New Ansatz Predicts Bayesian Deep Neural Network Performance
研究人员开发了一种新的近似方法来预测具有固定深度的贝叶斯深度神经网络（MLP）的泛化性能。该方法利用等效Wishart Ansatz来模拟分层经验核的涨落，从而能够在比例宽度范围内进行大偏差分析。该框架将深度网络中的表示学习过程简化为一组标量序参数，并通过识别局部核重整化机制将其扩展到卷积架构。
-
本地 SGD 工人分歧揭示了深度神经网络损失几何结构
研究人员开发了一种新颖的方法来理解深度神经网络的损失几何结构，方法是通过分析本地随机梯度下降 (SGD) 中的工人分歧。这种分歧在理论上被证明会受到梯度噪声和 Hessian 曲率的影响，它提供了一种具有成本效益的、无 Hessian 的损失景观主子空间估计器。对 MLP、CNN 和 Transformer 的实验证实，通过工人平均差距识别出的子空间能够有效地捕捉 Hessian 特征值空间主导部分内的梯度分量。
-
新的KAN变体解决了效率和硬件实现问题
研究人员开发了一种名为Kolmogorov-Arnold Fourier Networks (KAFs) 的Kolmogorov-Arnold Networks (KANs) 新变体，以解决参数效率和高频特征捕获方面的局限性。KAFs使用谱表示和可训练的随机傅里叶特征重新参数化网络，降低了参数复杂性，并提高了在计算机视觉和NLP等各种任务上的性能。同时，另一项研究工作探索了使用可重构非线性处理单元 (RNPUs) 的物理模拟KAN架构…
-
新研究探索 MLP 中的神经元专门化以进行数据重建
研究人员调查了最小 MLP 中的训练偏差如何导致神经元专门化并改进从学习到的权重重建训练数据。在一维数据集上的实验表明，覆盖正则化（鼓励原型分离）导致最低的重建误差并增加了专门化。相反，重叠惩罚被发现系统性地有害，导致优化器达到一个退化的平衡点，其中原型中心被推到训练输入凸包之外。该研究表明，训练中的排斥性结构损失必须与兼容的吸引子相平衡，以防止潜在几何的崩溃。
-
新的张量代数嵌入了等变性以发现对称性
研究人员开发了一个新的张量代数框架，称为 $\star_G$，它内在地嵌入了等变性，从而实现了保持对称性的张量近似和物理对称性发现。该框架提供了每个不可约表示的预测的闭式分解，并且可以仅从数据中识别出潜在的对称群。在分子几何数据上的实证表明，与标准的 MLP 相比，参数显著减少，同时实现了可比的预测能力。
-
新理论表明，前置 dropout 可降低神经网络测试损失
研究人员开发了一种新的 dropout（一种用于神经网络的技术）的均场理论。该理论表明，通过在前置训练中更积极地安排 dropout，可以将 MLP 和 Vision Transformer 的测试损失降低 18-35%。该研究还为平滑和折返激活函数确定了不同的普适类，影响了临界指数和标度律。
-
新理论解释神经网络中的 Dropout 通用性
研究人员开发了一种均场理论来理解神经网络中的 Dropout，将其视为临界信号传播的扰动。该理论为平滑和类 ReLU 激活函数建立了不同的普适类，详细说明了它们不同的临界指数和缩放行为。该框架还提出了最优的 Dropout 调度策略，可以在不增加计算成本的情况下降低测试损失并提高准确性，并在 MLP 和 Vision Transformers 上测试了预测结果。
-
论文质疑权重衰减在深度学习稳定性中的作用
一篇新论文研究了权重衰减在深度学习训练稳定性中的作用，挑战了其作为简单正则化技术的普遍看法。研究分析了权重衰减如何影响“稳定性边缘”的参数动态和损失锐度，证明它能有效减缓渐进锐化。研究还揭示了一种依赖于架构的相变，其中权重衰减在CNN中会抑制振荡，但在MLP中，由于参数向量和锐度梯度的对齐，它会在理论边界以下稳定锐度。
-
TabPFN模型推进儿科ECMO的临床决策支持
研究人员开发了一种模仿学习方法，以辅助儿科ECMO患者的临床决策。该方法利用观测数据学习行动模型，解决了复杂性和数据稀疏性的挑战。与XGBoost和MLP等传统基线模型相比，基于Transformer的模型TabPFN在真实的ECMO数据上表现出优越的性能，表明其作为稳健的临床行为基线具有潜力。
-
KANs通过新的Temporal Functional Circuits获得时间解释
研究人员开发了一个名为Temporal Functional Circuits的新框架，以增强Kolmogorov-Arnold Networks (KANs) 在时间序列预测中的可解释性。该方法将KAN的内部边缘函数转化为可理解的、与时间相关的解释。通过使用门控残差KAN架构，该框架将边缘映射到输入滞后，对其重要性进行排序，并通过干预验证其贡献，证明所学的样条形状比简单的激活函数具有更强的预测价值。
-
KANs为低延迟系统实现超快片上在线学习
研究人员展示了使用Kolmogorov-Arnold网络（KANs）在现场可编程门阵列（FPGAs）上实现超快在线学习的能力。该方法在低延迟、资源受限的任务中，在效率和表达能力上均优于传统的Multi-Layer Perceptrons（MLPs），实现了亚微秒级的适应时间。研究强调了KANs对定点量化的鲁棒性及其稀疏更新特性，使其适用于量子计算和核聚变控制等高要求应用。
-
Singular Bayesian Neural Networks
研究人员推出了一种名为Singular Bayesian Neural Networks的新方法，该方法显著减少了贝叶斯神经网络所需的参数数量。通过使用低秩分解来参数化权重，这些网络将其后验集中在秩流形上，与标准的均值场方法相比，能够更有效地进行相关性建模。该技术提供了改进的泛化界限和具有竞争力的预测性能，实证结果显示参数数量减少高达33倍，并且增强了分布外检测能力。
-
新的HyCNNs架构提供了改进的凸函数学习和最优传输
研究人员开发了超输入凸神经网络（HyCNNs），这是一种旨在比现有的输入凸神经网络（ICNNs）更有效地学习凸函数的新架构。HyCNNs将Maxout网络与ICNN原理相结合，在深度利用和可扩展性方面提供了理论优势。实验表明，HyCNNs在凸回归和插值任务中优于ICNNs和MLPs，并且在学习合成数据和单细胞RNA测序的高维最优传输图方面是有效的。