一篇新论文区分了描述性不确定性（仅描述输出分布）和监管性不确定性（主动影响系统策略并驱动适应）。研究表明，当前的 Transformer 架构在推理过程中仅限于描述性不确定性。这一限制通过 Landauer 原理得到解释，该原理表明不确定性要具有监管性，认知误差必须产生实际的能量成本，而在解耦系统中并非如此。对不同规模语言模型的实证测试表明，在不同任务中，token 级别的熵在统计上保持不变，这表明其与任务准确性解耦，并且存在一种尺度不变的限制。 AI
影响 这项研究表明当前 Transformer 架构在适应性行为方面存在根本性限制，可能需要新的方法来实现真正的认知基础。
排序理由 该集群包含一篇在 arXiv 上发表的研究论文，详细介绍了关于人工智能系统的新理论区分和实证发现。[lever_c_demoted from research: ic=1 ai=1.0]
- Ahmed Gamal-Eldin
- arXiv
- cs.LG
- Descriptive versus Regulatory Uncertainty in Bounded Predictive Systems
- Hugging Face
- information entropy
- Landauer's principle
- transformer architectures
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
