实体
Noboru Isobe
Noboru Isobe
PulseAugur coverage of Noboru Isobe — every cluster mentioning Noboru Isobe across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新理论解释了 Transformer 训练如何影响 Token 聚类
Transformer 动力学的新理论公式揭示了训练过程如何在推理过程中影响 Token 聚类。研究人员发现，即使是单次梯度下降更新也会导致后续层中的 Token 分布逃逸聚类。这项工作建立了一个训练感知的均场理论，将训练和推理动力学结合起来，以更好地理解 Transformer 的行为。
-
深度学习理论论文探讨收敛性和Lipschitz连续性
两篇最新的arXiv论文深入探讨了深度学习的理论方面，重点关注收敛性和Lipschitz连续性。第一篇论文由Noboru Isobe撰写，探讨了深度神经网络的理想化连续深度模型，并利用Łojasiewicz--Simon不等式证明了其收敛到临界点。第二篇论文系统地回顾了深度学习中的Lipschitz连续性，考察了其理论基础、估计方法、正则化技术以及对鲁棒性和泛化能力的影响。