neural network training
PulseAugur coverage of neural network training — every cluster mentioning neural network training across labs, papers, and developer communities, ranked by signal.
-
新型大型发现模型加速科学研究
研究人员推出了一种新颖的架构——大型发现模型（LDM），旨在通过在广阔的假设空间中优化复杂目标来加速科学发现。LDM集成了生成模型和贝叶斯非参数奖励代理，使其能够预测候选性能并量化不确定性。这种对不确定性的感知指导新设计的生成、优化和选择，并且随着新的实验数据可用，模型会不断更新其记忆和代理。在神经网络训练、抗体设计和分子优化方面的评估表明，LDM的性能显著优于传统方法和仅使用LLM的方法，在各种性能指标上取得了实质性改进。
-
古代《易经》序列未能改善神经网络训练
一篇新论文探讨了周文王序列（《易经》卦象的一种古代排序方式）的统计特性，以期改善神经网络训练。研究人员发现该序列具有独特的统计特征，如高转移距离和负自相关，这些特征表面上与课程学习的原理相似。然而，在不同硬件平台和训练方法上的实验表明，应用周文王序列要么降低了性能，要么没有显著影响，这表明其独特的方差会破坏基于梯度的优化。
-
新理论界定了耦合梯度下降中的瞬态放大
研究人员开发了一种新的伪谱理论来分析耦合梯度下降中的瞬态放大，这是一种用于双层优化和对抗性训练的方法。该理论为块三角雅可比行列式提供了精确的界限，揭示了一种先前被谱半径分析所掩盖的非渐近学习动力学状态。在包括神经网络训练在内的各种问题上的实验证实了该理论的有效性。
-
新的NAPTS方法将神经网络训练时间缩短了30%
研究人员开发了一种名为非单调预条件信任域策略（NAPTS）的新优化方法，专门用于训练深度神经网络。该方法通过使用域分解和全局信任域机制来增强并行训练。据报道，与APTS等先前方法相比，NAPTS将训练时间缩短了30%，并显著减少了被拒绝的步骤。