PulseAugur
中
实时 16:38:11

神经网络在特定深度-连接性“甜蜜点”中涌现组合性

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员发现，神经网络中的组合性出现在一个特定的、狭窄的深度和连接性范围内。这种现象高度依赖于连接的稀疏性，而不仅仅是权重的稀疏性。当不满足这些条件时，梯度下降会导致解决方案破碎，而不是组合性的解决方案。为了解决这个问题，该研究引入了基于相似性的剪枝（SP）来实现组合性连接，并引入了深度预测器来识别组合性的最佳深度，并得到了理论框架的支持。 AI

影响 理解组合性的条件可能有助于开发更具泛化能力和鲁棒性的AI模型。

排序理由 该集群包含一篇详细介绍神经网络组合性研究结果的研究论文。

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

神经网络在特定深度-连接性“甜蜜点”中涌现组合性

报道来源 [2]

  1. arXiv cs.LG TIER_1 English(EN) · Dat H. Do, Rushi Shah, Duc V. Le, Dianbo Liu ·

    Compositionality Emerges in a Narrow Depth-Connectivity Regime: Architecture Constraints and Solution Manifolds

    arXiv:2606.19941v1 Announce Type: new Abstract: Compositionality is believed to be the foundation for generalization, enabling models to reuse meaningful primitives in novel combinations. Yet, models trained with standard gradient-based optimization rarely, and often only weakly,…

  2. arXiv cs.LG TIER_1 English(EN) · Dianbo Liu ·

    组合性在狭窄的深度-连通性区域中涌现：架构约束与解流形

    Compositionality is believed to be the foundation for generalization, enabling models to reuse meaningful primitives in novel combinations. Yet, models trained with standard gradient-based optimization rarely, and often only weakly, exhibit compositional internal structure, and i…

相关实体

相关话题