新的贝叶斯风洞方法使 Transformer 能够进行模型选择

研究人员开发了一种名为贝叶斯风洞 (Bayesian Wind Tunnels) 的新方法，使 Transformer 能够执行贝叶斯模型选择，从数据中识别正确的假设类别。使用无不动点对合，一个 2.8M 参数的 Transformer 在与真实后验概率的一致性方面接近最优。该研究还确定了一个关键条件，即在判别统计中进行算术运算对于成功的模型选择是必要的，即使在扩展到 316M 参数时，这一边界仍然存在。对前沿 LLM 的探测揭示了定性的贝叶斯行为，但存在显著的校准差距。 AI

影响 这项研究可能带来更复杂的 AI 模型，使其能够从数据中辨别正确的假设，从而可能提高其推理和决策能力。

排序理由 该集群包含一篇详细介绍 AI 模型选择新研究方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv stat.ML 阅读 →

• 2.8M-parameter transformer
• 316M parameters
• Bayesian Model Selection
• Bayesian Wind Tunnels
• recursive Bayesian estimation
• transformers

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →