研究人员观察到，在深度强化学习（RL）代理中使用冻结的、随机初始化的卷积神经网络（CNN）特征提取器时，会自发产生高度稀疏的全连接表示。这种现象在训练过程中没有明确的诱导稀疏性目标的情况下发生。研究发现，第一个全连接层中活跃神经元的数量与任务复杂度成正比，像确定性Pong这样简单的任务只需要64个神经元中的1-3个，而像Space Invaders这样更复杂的游戏则使用了大约42个神经元。此外，研究表明这种涌现的稀疏性对于性能至关重要，因为移除这些活跃神经元会显著降低代理在不同实现和游戏中的能力。 AI
影响 表明在没有明确稀疏性目标的情况下，在强化学习中实现高效表示的潜在途径。
排序理由 学术论文，详细介绍了深度强化学习中的一种新颖的涌现现象。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
