PulseAugur
实时 12:48:57

Fine-tuned LLMs automate proving of entropy inequalities

研究人员开发了一种方法,利用微调的语言模型和引导式树搜索来自动证明香农型熵不等式。他们的小型模型,参数范围从 0.6B 到 1.7B,在涉及 10 到 15 个变量的 60 个不等式的测试集上取得了 85% 的成功率。这种方法显著优于使用 GPT-5.5Psitip 等大型模型的零样本提示。一项消融研究表明,4096 个 token 的训练上下文长度和非偏斜的数据分布对性能最优化。 AI

影响 展示了微调 LLM 在复杂数学证明方面的新颖应用,有可能加速信息论的研究。

排序理由 该集群包含一篇学术论文,详细介绍了使用语言模型证明熵不等式的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Shing Yin Wong, Shaocheng Liu, Linqi Song, Amin Gohari, Cheuk Ting Li ·

    基于微调语言模型和引导式树搜索的香农型熵不等式的自动证明

    arXiv:2606.05729v1 Announce Type: cross Abstract: Proving Shannon-type entropy inequalities is a fundamental task in information theory that often requires constructing non-trivial linear combinations of known constraints, which is a combinatorial search problem that scales poorl…