PulseAugur
实时 16:27:49
English(EN) ‘ The energy and compute needed to train an LLM to be an order of magnitude more reliable – e.g., wrong 3% of the time instead of 30% – is 10^20 times what the

大型语言模型可靠性提升需要 10^20 倍的计算量,限制近期进展

训练一个大型语言模型使其可靠性显著提高,将错误率降低一个数量级,将需要天文数字般的能量和计算资源,估计是当前前沿模型的 10^20 倍。这表明在不久的将来,模型可靠性的重大改进不太可能实现。未来的改进更有可能来自提示工程和输出质量控制机制的进步,而不是根本性的模型改进。 AI

影响 表明当前的 LLM 架构可能因极高的计算成本而在可靠性改进方面遇到瓶颈,将重点转移到工程方面。

排序理由 该条目是一篇评论文章,讨论了提高 LLM 可靠性的计算成本,而不是直接的发布或研究发现。

在 Mastodon — fosstodon.org 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

大型语言模型可靠性提升需要 10^20 倍的计算量,限制近期进展

报道来源 [1]

  1. Mastodon — fosstodon.org TIER_1 English(EN) · [email protected] ·

    将 LLM 的可靠性提高一个数量级(例如,错误率从 30% 降至 3%)所需的能量和计算量是目前的 10^20 倍

    ‘ The energy and compute needed to train an LLM to be an order of magnitude more reliable – e.g., wrong 3% of the time instead of 30% – is 10^20 times what the current frontier models require. Don’t expect significantly more reliable models any time soon. Any future gains in reli…