一篇新的研究论文探讨了与人工神经网络相关的热力学成本,区分了推理和学习过程。该研究认为,准静态推理没有热力学成本,因为其自由能独立于网络参数。然而,有限速度的推理会产生与输入信息分离相关的成本,大约是每层最宽维度 $k_B T$。相反,学习的不可约成本是每个参数 $k_B T$ 的几倍,这表明内存,而不是计算,决定了神经网络的热力学代价。 AI
影响 这项研究阐明了AI计算的基本物理极限,表明内存存储是效率的关键瓶颈。
排序理由 研究论文发表在arXiv上,详细介绍了神经网络热力学的理论发现。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →