PulseAugur
实时 15:07:31
English(EN) Mi:dm K 2.5 Pro hits 80.9% on MMLU-Pro but only 10% on long-context reasoning — independently measured, not self-reported. https:// olud.ai/leaderboard.html # L

Mi:dm K 2.5 Pro 在 MMLU-Pro 上表现强劲,但在长上下文方面遇到困难

Mi:dm K 2.5 Pro 模型在 MMLU-Pro 基准测试中取得了 80.9% 的分数。然而,其在长上下文推理任务上的表现明显较低,仅为 10%。这些结果是独立测量的,而非模型创建者自报。 AI

影响 这一基准测试结果表明,尽管在一般知识任务上表现强劲,但当前模型在处理扩展上下文方面可能存在局限性。

排序理由 该集群报告了 AI 模型的基准测试表现,属于研究范畴。[lever_c_demoted from research: ic=1 ai=1.0]

在 Mastodon — fosstodon.org 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

Mi:dm K 2.5 Pro 在 MMLU-Pro 上表现强劲,但在长上下文方面遇到困难

报道来源 [1]

  1. Mastodon — fosstodon.org TIER_1 English(EN) · [email protected] ·

    Mi:dm K 2.5 Pro 在 MMLU-Pro 上达到 80.9%,但在长上下文推理上仅为 10% — 独立测量,非自报。https:// olud.ai/leaderboard.html # L

    Mi:dm K 2.5 Pro hits 80.9% on MMLU-Pro but only 10% on long-context reasoning — independently measured, not self-reported. https:// olud.ai/leaderboard.html # LLM # Benchmarks # OpenSource # AI