PulseAugur
中
实时 03:21:00
English(EN) When Llama 3.1 Tulu3 405B hits 71.6% on MMLU-Pro but only 3.5% on Humanity's Last Exam, the gap shows even top open models struggle with truly hard reasoning— h

Llama 3.1 Tulu3 405B 在推理基准测试中表现出性能差距

作者 PulseAugur 编辑部 · [1 个来源] ·

Llama 3.1 Tulu3 405B 模型在基准测试中表现出显著的性能差异，在 MMLU-Pro 上达到 71.6%，而在 Humanity's Last Exam 上仅获得 3.5%。这一巨大差距凸显了即使是先进的开源模型在处理复杂推理任务方面仍然面临挑战。 AI

影响 凸显了当前开源模型在复杂推理方面的局限性，指明了未来发展的方向。

排序理由 该项目报告了某个开源模型的基准测试性能，属于研究范畴。[lever_c_demoted from research: ic=1 ai=1.0]

在 Mastodon — fosstodon.org 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

Llama 3.1 Tulu3 405B 在推理基准测试中表现出性能差距

报道来源 [1]

  1. Mastodon — fosstodon.org TIER_1 English(EN) · [email protected] ·

    当 Llama 3.1 Tulu3 405B 在 MMLU-Pro 上达到 71.6% 但在 Humanity's Last Exam 上仅为 3.5% 时，差距表明即使是顶尖的开放模型也难以进行真正困难的推理—— h

    When Llama 3.1 Tulu3 405B hits 71.6% on MMLU-Pro but only 3.5% on Humanity's Last Exam, the gap shows even top open models struggle with truly hard reasoning— https:// olud.ai/leaderboard.html # LLM # Benchmarks # OpenSource # AI

    链接 olud.ai/leaderboard.html

相关实体

相关话题