PulseAugur
中
实时 16:26:52
English(EN) Ripple-65B reports 80.52 on Terminal-Bench 2.1 and 79.1 on SWE-bench Pro v2.0 Hard. The catch: its model card says comparisons used different harnesses, weakeni

Ripple-65B 声称在编码基准测试中领先,但存在 harness 担忧 · 跟踪到 2 个来源

Ripple-65B 在编码基准测试中报告了强劲的性能,在 Terminal-Bench 2.1 上取得了 80.52 的分数,在 SWE-bench Pro v2.0 Hard 上取得了 79.1 的分数。然而,有人对其使用的比较方法提出了担忧。具体来说,模型卡显示使用了不同的 harness,Ricursive 指出使用了混合 harness 和供应商运行的评估,这表明需要独立复制来验证这些说法。 AI

影响 编码模型的基准测试结果对于理解模型能力和推动高效人工智能开发的进一步研究至关重要。

排序理由 该集群报告了一个模型的基准测试结果,属于研究范畴。

在 Mastodon — mastodon.social 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

Ripple-65B 声称在编码基准测试中领先,但存在 harness 担忧 · 跟踪到 2 个来源

本文如何被排名

Signal score
0 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Research
该集群报告了一个模型的基准测试结果,属于研究范畴。
Source corroboration
2 independent sources
Multiple independent publishers reporting the same story raises confidence that it's real and newsworthy.
Topics
model release, other
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
5 days old
Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [2]

  1. Mastodon — mastodon.social TIER_1 English(EN) · spaisee ·

    Ripple-65B 在 Terminal-Bench 2.1 上得分 80.52,在 SWE-bench Pro v2.0 Hard 上得分 79.1。但其模型卡称比较使用了不同的 harness,削弱了

    Ripple-65B reports 80.52 on Terminal-Bench 2.1 and 79.1 on SWE-bench Pro v2.0 Hard. The catch: its model card says comparisons used different harnesses, weakening the leaderboard claim. # AI https:// spaisee.com/article/ripple-65b -puts-efficient-coding-models-under-the-microscop…

  2. Mastodon — mastodon.social TIER_1 English(EN) · spaisee ·

    一项带星号的编码基准领先 Ripple-65B 在 Terminal-Bench 2.1 上报告 80.52,在 SWE-bench Pro v2.0 Hard 上报告 79.1。但 Ricursive 指出混合了不同的测试套件

    A coding benchmark lead with an asterisk Ripple-65B reports 80.52 on Terminal-Bench 2.1 and 79.1 on SWE-bench Pro v2.0 Hard. But Ricursive notes mixed harnesses and vendor-run evaluations, so the coding lead still needs independent replication. # AI # MachineLearning https:// spa…