Psitip

Fine-tuned LLMs automate proving of entropy inequalities

研究人员开发了一种方法，利用微调的语言模型和引导式树搜索来自动证明香农型熵不等式。他们的小型模型，参数范围从 0.6B 到 1.7B，在涉及 10 到 15 个变量的 60 个不等式的测试集上取得了 85% 的成功率。这种方法显著优于使用 GPT-5.5 和 Psitip 等大型模型的零样本提示。一项消融研究表明，4096 个 token 的训练上下文长度和非偏斜的数据分布对性能最优化。