一篇新的研究论文探讨了费米估算中小语言模型的聚合问题,发现共享的项级错误显著限制了平均化的好处。研究发现,对于给定的项目,模型之间的错误在很大程度上是相关的,这意味着平均多个答案并不能像预期的那样有效地减少错误。即使经过辩论或修订,项级错误部分也基本保持不变,这表明当前中小语言模型在费米估算等任务中的聚合方法效率低于理论模型的预测。 AI
影响 这项研究强调了中小语言模型聚合的一个关键限制,表明当前的方法在费米估算等任务中可能无法实现预期的误差减少。
排序理由 该集群包含一篇详细介绍语言模型行为新研究发现的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 arXiv cs.MA (Multiagent) 阅读 →
- arXiv
- Carolina Fortuna PhD
- common logarithm
- Fermi Estimation
- Hugging Face
- multi-agent system
- realFP
- Science Olympiad
- small language model
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →