对俄罗斯 AI 模型 Alice (Yandex) 和 GigaChat (Sber) 在五个基准测试上进行了比较:τ³, PRAKT-120, MultiChallenge, WildBench 和 Arena-Hard。测试过程非常广泛,由于设置、等待时间和模型不稳定,大约持续了两周。作者指出,虽然 Marusya AI 最初计划包含在内,但它目前正在重构为一个主权编码环境。因此,展示的结果集中在 Alice、GigaChat Ultra 和 GigaChat Max 上,其中 Alice 通过其 Web 连接器访问。 AI
影响 提供了对俄罗斯 AI 模型性能的见解,可能指导开发和采用。
排序理由 在基准测试上比较 AI 模型。 [lever_c_demoted from research: ic=1 ai=1.0]
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →