一篇新发表在arXiv上的研究论文探讨了神经网络低精度时间推理中“循环状态写回”的现象。当循环网络中的量化状态被存储并返回时,会发生这种情况,可能改变后续的计算。研究表明,这种写回机制会显著降低性能,如在分子成像的GRU编码器-解码器中所示,当使用4位状态存储时,错误会急剧增加。研究还发现,错误反馈和残差内存可以在不重新训练的情况下恢复准确性,并且这种行为并非GRU独有,也会影响LSTM。 AI
影响 识别出低精度AI推理中的一个关键漏洞,可能影响模型的准确性和效率。
排序理由 该集群包含一篇发表在arXiv上的研究论文,详细介绍了关于AI模型行为的新发现。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
- alphaXiv
- arXiv
- CatalyzeX
- Connected Papers
- DagsHub
- gated recurrent unit
- Gotit.pub
- Hugging Face
- Litmaps
- long short-term memory
- ScienceCast
- scite Smart Citations
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →