研究人员探索了在回声状态网络(ESNs)中使用分形和混沌激活函数,挑战了传统上对光滑、全局Lipschitz函数的依赖。涉及超过36,000个库配置的实验表明,非光滑函数(如Cantor函数)可以保持回声状态特性(ESP),甚至在收敛速度和谱半径容忍度方面优于tanh和ReLU等传统激活函数。该研究提出了一个关于量化激活函数的理论框架以及一个称为退化回声状态特性(d-ESP)的概念,表明预处理的拓扑结构(而非连续性)是ESNs稳定性的关键决定因素。 AI
影响 为循环神经网络引入了新的激活函数可能性,有望在特定应用中提高性能。
排序理由 学术论文,详细介绍了机器学习特定领域的新方法和发现。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →