feedforward neural network
PulseAugur coverage of feedforward neural network — every cluster mentioning feedforward neural network across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
P2P借贷模型对抗性训练在不同攻击类型下表现出混合鲁棒性
研究人员评估了在同行借贷（P2P lending）中使用的机器学习模型在面对各种对抗性攻击时的鲁棒性。研究发现，虽然对抗性训练能显著提高模型对特定训练攻击的防御能力，但这种鲁棒性并不总是能很好地迁移到不同类型的攻击上，特别是非基于梯度的攻击。研究结果表明，混合攻击对抗性训练在抵御各种操纵方法方面提供了最均衡的防御，这对于有效的信用模型治理至关重要。
-
ResNets克服了求解热方程的维度灾难
研究人员证明了残差神经网络（ResNets）在逼近半线性热方程解时，能够有效地克服维度灾难。该研究提供了理论保证，表明具有与维度和期望误差相关的参数数量的ResNets可以实现精确的逼近。证明过程涉及使用ResNet架构实现多层Picard估计器，并在特定条件下推导出特定的参数界限。
-
新方法允许AI文本揭示内部计算状态
研究人员开发了一种名为计算溯源的方法，该方法允许生成的文本携带可验证的证据，证明其内部计算过程。在对前馈和基于Transformer的模型进行的对照实验中，他们证明了文本中微妙的统计模式可以揭示使用了哪个特定的内部状态，即使最终答案保持不变。这个概念验证表明，关于已验证的、因果相关的内部状态的信息可以保存在生成的文本中，为提高AI输出的透明度提供了一条潜在途径。
-
新的 arXiv 论文探讨神经网络计算与学习之间的断开
两篇新的 arXiv 论文探讨了神经计算的动力学，重点关注复杂的前向计算与更简单的学习机制之间的分歧。第一篇论文引入了一个“生成-事实图”来统一训练、学习和推理，并展示了一个使用 nanoGPT 和 ResNet 在保留运行中具有高准确率的预测模型。第二篇论文识别出一种“前向-后向断开”，指出虽然神经网络中的前向计算已高度多样化，但学习方法在很大程度上仍围绕反向传播及其变体。两篇论文都表明需要更好地协调这些方面，以实现更具生物学基础和…
-
用于非线性系统的新型物理信息学习观测器合成方法
研究人员开发了一种新颖的基于物理信息学习的方法，用于合成非线性系统的Kazantzis-Kravaris (KKL) 观测器。该方法使用一个物理信息神经网络来学习正向映射，并使用一个标准的馈送前向神经网络来学习反向映射。该论文为状态估计在近似误差和系统不确定性（包括非渐近学习保证）下的鲁棒性提供了理论保证。在基准示例上的数值模拟表明，与现有方法相比，该方法在训练域之外提供了更好的泛化能力。
-
输入凸神经网络在优化方面优于前馈神经网络
研究人员引入了输入凸神经网络（ICNNs）作为传统前馈神经网络（FNNs）在数学优化问题中的更优替代方案。ICNNs 因其凸结构提供了计算优势，能够实现更紧密的线性规划松弛，并可能消除积分间隙。虽然具有 ReLU 激活函数的前馈神经网络可以重新表述为混合整数规划问题，但 ICNNs 通过上图表示允许进行基于 LP 的重新表述。在人道主义粮食援助、油井选址和葡萄酒调配等领域的案例研究表明，ICNNs 在匹配 FNN 准确性的同时，提高了…
-
新方法使用代码复杂度来表征优化问题
研究人员开发了一种通过分析其程序化表示的复杂度来表征优化问题的新方法。该方法使用 Halstead 体积和代码熵等度量，这些度量可以快速计算且对变换不变。该研究将这些度量应用于 BBOB 套件和前馈神经网络训练，发现与算法性能呈负相关，表明它们作为算法选择和分析的预测元特征的效用。
-
新的多光谱成像方法可准确检测牛奶中的尿素
研究人员开发了一种经济高效的多光谱成像（MSI）方法，可准确量化牛乳中的尿素掺假。这项非破坏性技术使用了一个内置的、具有十二个光谱带的多光谱成像系统来分析牛奶样品。研究表明，前馈神经网络达到了 0.9773 的验证 R 方值，显示出快速评估牛奶质量的巨大潜力。
-
具有随机特征的图神经网络实现普遍性
研究人员为结合了随机节点特征的消息传递图神经网络（GNN）建立了一个新的普遍性结果。这项工作特别关注置换等变神经网络（PENN），这是一类广泛的GNN，包括许多流行的架构。研究结果表明，当用部分随机节点特征增强时，PENN可以有效地逼近固定大小有向图上的任何可测量的置换不变或置换等变函数，前提是它们具有多维节点和边特征。此外，该研究为连续可微函数的逼近率提供了界限，将PENN的前馈组件的复杂性与逼近的准确性联系起来。
-
符号回归发现了新颖的神经网络优化器
研究人员探索了使用符号回归为前馈神经网络发现新颖的权重更新规则。在30个基准和神经网络组合的实验中，符号回归方法产生的更新规则在25个实例中优于已建立的优化器，平均均方误差（MSE）降低了44.47%。新发现的规则通常包含自适应归一化、类似动量的元素和非线性变换，这表明符号回归在创建高效优化器变体方面具有潜力，但建议进行更大规模的验证。
-
新方法揭示Transformer FFN中的稀疏依赖性
研究人员开发了一种新方法来理解Transformer神经网络的内部工作原理，重点关注前馈网络（FFN）层。他们的无训练归因技术表明，尽管参数密集，FFN神经元仍表现出稀疏的层间依赖性。这种稀疏性允许在屏蔽大部分上游输入的情况下高保真地保留神经元激活，这表明了更高效推理的潜在途径。
-
神经网络后门即使在完全访问权重的情况下也能逃避检测
一篇新的预印本详细介绍了嵌入前馈神经网络中的后门如何能够逃避检测。研究人员证明，即使在完全访问网络权重的情况下，这些恶意植入物也无法通过统计测试被检测到。这一发现对维护AI模型的信任构成了重大挑战。
-
新的K-Inverse-RFM方法缩小了与神经网络的性能差距
研究人员开发了K-Inverse-RFM，这是对递归特征机（RFM）的一种改进，可以提高其在数据损坏数学任务上的性能。通过对训练标签应用变换，K-Inverse-RFM帮助RFM克服了在嘈杂、复杂或不平衡数据集中的局限性，使其在这些具有挑战性的场景中能够媲美甚至超越前馈神经网络（FNN）的性能。
-
低维拓扑为深度神经网络架构提供新见解
一篇新的研究论文探讨了低维拓扑在理解深度神经网络内部工作原理中的应用。通过在受限的3维空间中分析前馈网络、ResNet和Transformer等分层模型，该研究跟踪拓扑不变量如何通过网络层发生变化。研究结果表明，ResNet的层跳跃和Transformer的注意力机制等架构特征，与前馈网络中的非单调激活一样，在改变拓扑结构方面具有强大作用，这表明拓扑学可以指导AI架构设计。
-
新的通用人工智能架构通过再入神经网络系统承诺内在安全性
一篇新研究论文提出了一种新颖的通用人工智能（AGI）架构，称为再入神经网络系统，旨在确保内在安全性和主体性。该架构利用闭合的再入循环，与传统的前馈网络形成对比，以实现自我参照和自我保护。论文引入了一个新的度量标准，即S-measure，作为Tononi的Phi的替代方案，用于量化集成信息，并提供了在Lean 4中验证的完整实现细节和形式证明。所提出的系统被呈现为一种安全设计的通用人工智能方法，可立即部署。
-
探索量化设置下神经网络验证的复杂性
研究人员分析了在使用量化设置时验证前馈神经网络（FNN）的计算复杂性。他们将FNN分为有理数、量化和动态量化类型，并同时考虑了线性规划（LP）和位向量（BV）规范。对于具有固定精度的量化FNN，LP和BV规范的验证仍然是NP完全问题。对于具有BV规范的动态量化FNN，在先前的PSPACE-hardness发现的基础上，建立了新的上限。
-
从头开始构建循环神经网络详解
本文解释了从头开始构建循环神经网络（RNN）的过程。它强调RNN旨在通过在不同时间步长之间维护信息来处理序列数据。与前馈网络的核心区别在于其循环连接，这使得它们具有记忆能力。
-
神经网络模型模拟帕金森病患者的步态变化
研究人员开发了一种新颖的方法，通过单受试者潜在空间分析来近似步态动力学，重点关注咬合约束下的变换。训练了一个前馈神经网络来模拟在为期十一周的时间里，一名帕金森病症状参与者步态模式的变化。该模型成功地保留了不同咬合条件下步态位移的顺序，这表明了一种潜在的方法学途径，可用于未来的多受试者预测可行性模型，尽管它并不声称具有临床预测或因果效应。
-
论文表明神经网络具有有限样本复杂度
一篇新论文证明，广泛的前馈神经网络架构都具有有限样本复杂度。这意味着它们即使在参数无界的情况下，也能在PAC模型中有效学习。研究结果表明，可学习性是许多现代架构的一个基本属性，从而将研究重点转移到归纳偏倚和优化等方面。
-
神经网络为撒哈拉沙漠提供概率气候分类
研究人员开发了一个使用前馈神经网络进行气候带分类的概率框架，与传统的确定性方法相比，提供了更细致的理解。该方法量化了分类中的不确定性，这对于过渡性气候带尤其有用。该模型应用于撒哈拉沙漠，使用了1960-1989年的数据，分析了时间演变和荒漠化趋势。