Neural Networks
PulseAugur coverage of Neural Networks — every cluster mentioning Neural Networks across labs, papers, and developer communities, ranked by signal.
- used by activation function 95%
- instance of physics-informed neural networks 90%
- used by natural language processing 90%
- developed natural language processing 90%
- instance of Recurrent Neural Networks 90%
- used by gradient descent 80%
- affiliated with deep learning 70%
- instance of alphaXiv 70%
- instance of ScienceCast 70%
- used by ScienceCast 70%
- used by alphaXiv 70%
- instance of Gotit.pub 70%
17 天有情绪数据
-
研究发现，仅靠平坦度不足以实现神经网络的 grokking
研究人员调查了损失景观平坦度在神经网络泛化中的作用，特别是在 grokking 现象中。虽然之前的工作表明平坦度是泛化所必需的，但本研究发现，仅使用 Sharpness Aware Minimization (SAM)（它倾向于将训练导向更平坦的解）不足以可靠地诱导 grokking。然而，当 SAM 与权重衰减结合使用时，它能将泛化解的过渡速度在 epoch 层面提高多达四倍。对最小的两层 ReLU 模型的理论分析表明，仅靠平坦度无…
-
新方法增强了神经网络的AI不确定性量化
研究人员开发了一种新颖的可扩展神经网络不确定性量化方法，这对于高风险的AI应用至关重要。他们的方法，称为广义拉普拉斯主动子空间，在特定的曲率子空间内构建局部高斯近似。该方法为校准不确定性量化提供了一条实用且可扩展的途径，提高了神经网络预测的可靠性。
-
AI 彻底改变游戏开发和独立开发场景
神经网络正在对视频游戏行业和独立开发场景产生重大影响。AI 正在加速游戏开发，引发伦理问题和偶发丑闻。现代 LLM 能够通过简单的描述创建雄心勃勃的项目，并正在革新独立开发社区。
-
线性递归特征机动力学分析
研究人员分析了线性递归特征机（RFMs）的动力学和有限样本轨迹恢复。在具有各向同性亚高斯输入数据和低秩教师矩阵的噪声多输出回归设置中，他们扩展了线性RFMs与迭代重加权最小二乘法之间的联系。研究表明，学习到的特征矩阵非常接近其理想对应物，在n个样本下，误差以高概率衰减到O(sqrt(d/n))的速率。在真实文本和单细胞基因表达数据上的实验验证了该线性模型所学的特征。
-
新的邻域平滑方法提高了神经网络的校准性能
研究人员引入了一种名为“邻域平滑用于校准”（Neighborhood Smoothing for Calibration）的新方法，旨在解决现代神经网络中的过度自信问题。该方法利用学习表示中的邻域结构，鼓励相似样本具有相似的预测分布。该技术作为一种基于图的正则化器实现，会惩罚邻近预测分布之间的分歧，并在各种基准测试中显示出预测质量和校准方面的实证改进。
-
神经网络通过预测、检查错误和调整权重来学习
神经网络中的学习概念通过一个简单的循环来解释：预测、检查错误、调整并重复。最初，神经网络使用随机权重进行预测，这类似于猜测。这个过程称为前向传播，涉及数据从输入到输出在网络中移动。然后，网络将其预测与实际结果进行比较，以识别错误，并随后调整其内部权重以改进未来的预测。
-
语言模型学会读取神经网络权重以进行安全审计
研究人员开发了一种名为“Weight Oracles”的新型可解释性方法，该方法允许语言模型通过直接分析神经网络的原始权重来诊断其属性。这种方法绕过了使用特定输入的传统行为测试。在初始阶段，一个解释器LLM仅凭权重就成功模拟了小型Transformer的前向传播，并取得了高精度。随后，该方法被应用于安全审计，一个在良性异常上训练的Oracle在检测后门方面表现出强大的零样本性能，优于手工制作的统计检测器。
-
新方法简化了纵向数据预测的可解释人工智能
研究人员开发了一种新方法，用于从基于神经网络的纵向主动特征获取（LAFA）模型中学习可解释策略。该树蒸馏技术旨在通过在每个时间点最优地选择要获取的项目子集来减少密集纵向研究中的参与者负担，从而提高时间预测的成本效益。该方法通过模拟和关于预测每日酒精消耗的经验数据集进行了验证，证明在预测准确性损失很小的情况下，获取的项目数量显著减少。
-
神经网络可视化字体结构，揭示独特的视觉关系
一位开发者创建了一个字体搜索工具，该工具利用预训练的神经网络为每种字体生成视觉嵌入。然后使用 t-SNE 可视化这些嵌入，从而探索字体的特征和关系。由此产生的可视化揭示了有趣的结构，例如 Google Fonts 的花状排列，草书字体聚集在中心。
-
新的交叉拟合方法改进了机器学习模型的统计推断
一种名为交叉拟合的新统计方法已被开发出来，以解决模型推断中的非正则性问题。该方法仍然遵循中心极限定理，但需要调整其渐近方差以考虑交叉折叠相关性。所提出的置信区间旨在估计这种相关性，目标是实现渐近名义覆盖率，并在随机森林和神经网络的模拟中显示出有希望的结果。
-
深度学习识别与VR网络晕动症相关的脑电图模式
研究人员开发了一个深度学习框架，用于识别在虚拟现实使用期间经历的网络晕动症不适相关的特定脑电图（EEG）模式。通过分析来自两项独立研究的大脑活动，模型一致地强调了左额叶、中线中央和右顶叶区域对于分类至关重要。研究还发现，早期时间窗口，即刺激后约80至260毫秒，对于识别网络晕动症具有重要意义，这表明这些时空特征可用于未来的检测和缓解策略。
-
新研究将SVD重构为核心ML算法，并扩展至多源学习
两篇新研究论文从几何角度探讨了奇异值分解（SVD）在机器学习中的基础和应用。第一篇论文从几何视角重新审视了SVD，展示了其证明如何直接转化为主成分分析、核方法和PageRank的算法。第二篇论文介绍了一种名为eKSVD的扩展，它能够使用非对称核在多个数据源之间进行联合非线性特征学习，并且可以与神经网络互补。
-
LSTM 详解：神经网络如何记住长期信息
本文详细介绍了长短期记忆（LSTM）网络，这是一种循环神经网络（RNN），旨在克服基本RNN在记忆长序列信息方面的局限性。文章分解了LSTM的核心组件，包括细胞状态和三个关键门（遗忘门、输入门和输出门），它们负责调节信息流。该博文旨在揭开梯度消失问题的神秘面纱，并提供分步指南，包含方程、数值示例和用于训练LSTM的Keras代码。
-
新的“幅度势能”指标有助于神经网络泛化分析
研究人员引入了一个名为“幅度势能”的新概念，该概念源自度量幅度理论，以更好地理解神经网络的泛化能力。该量在logit层计算，反映了一个点在数据集中的表示程度。实验表明，该幅度势能的比率与记忆分数相关，并且可以检测决策边界的结构变化，作为模块化算术任务中“grokking”的几何指标。即使在抑制神经网络坍塌的情况下，幅度势能也保留了关于几何结构的信息。
-
CAGE-NAS 方法在函数空间中优化神经网络增长
研究人员开发了 CAGE-NAS，一种在函数空间中进行决策以高效增长神经网络的新颖方法。该方法使用基于函数梯度近似的可接受性标准来确定网络的表示是否足够或需要扩展。当满足标准时，架构保持稳定；如果不满足，则应用保持函数不变的扩展。在实验中，CAGE-NAS 在给定参数预算内实现了性能排名前 0.2% 的架构，而无需详尽枚举。
-
理解神经网络过拟合：原因与解决方案
神经网络有时会记住其训练数据，包括噪声和无关细节，从而导致过拟合。当一个模型在其训练数据上表现出色，但在新的、未见过的数据上表现不佳时，就会发生这种情况。过拟合可以通过高训练准确率与显著较低的验证或测试准确率来识别。导致此问题的一些因素包括数据集小、模型过于复杂（参数过多）、训练轮次过多以及缺乏正则化技术。
-
RNNs详解：神经网络如何理解序列数据
循环神经网络（RNN）旨在处理序列数据，而传统的神经网络则独立处理每个输入。RNN维护一个“隐藏状态”，充当记忆，总结先前步骤的信息以告知当前步骤。这使得它们能够理解数据中的上下文，其中顺序至关重要，例如文本、时间序列和语音。
-
AI在军事报道中的应用：神经网络与虚假信息担忧
本文分析了人工智能，特别是神经网络，在军事报道中的应用。文章讨论了在战场前线部署这些技术的影响，以及能够生成虚假报道的新工具的开发。
-
新方法使用神经网络和欧拉近似推断SDE参数
研究人员开发了一种新颖的方法，用于推断由特定类型高斯过程驱动的随机微分方程（SDE）的参数。该方法利用神经网络和欧拉近似从离散观测中估计漂移、扩散和噪声协方差。该方法使用神经网络和径向基表示来建模漂移和扩散系数，然后通过似然剖面估计协方差指数和扩散尺度，与替代的神经网络方法相比显示出有希望的结果。
-
新框架统一并分析 Learn-Then-Differentiate 梯度估计
已开发出一种新的 Learn-Then-Differentiate (LTD) 梯度估计框架，它统一了现有方法并提供了准确性保证。该框架解释了 LTD 区分了什么以及它如何准确地估计梯度，特别是对于具有加权表示的模型。研究表明，拟合模型的准确性保证可以转化为梯度准确性，在特定的平滑条件下接近标准的蒙特卡洛速率。这种统一的方法包括了核回归和核岭回归等成熟技术，同时也为多核学习和光滑神经网络提供了新的见解。