coding rate reduction

AI研究人员质疑新深度学习理论专著的可靠性

一位r/MachineLearning的用户正在寻求社区对一本新专著可靠性的意见，该专著通过信息论提出了深度学习的统一理论。该专著声称利用编码率降低原理设计了一个“白盒”Transformer。虽然这项工作得到了Kevin Murphy的认可，并引用了JMLR和NeurIPS的论文，但用户也发现了一篇关于机制可解释性的可疑论文，并对Transformer的设计及其与更广泛的机器学习概念的关系表示怀疑。