Simon Willison 开发了 "smevals"，这是一个旨在评估 AI 模型、提示和框架能力的新评估套件。该工具与 Jesse Vincent 的 Prime Radiant 应用人工智能研究实验室合作开发，允许用户针对各种模型创建和运行评估套件、对结果进行评分并生成报告。Willison 将 smevals 描述为他对评估框架的第三次迭代，旨在为评估 AI 性能提供更有效的方法。 AI
影响 为开发人员提供了一个测试和比较 AI 模型性能的新框架。
排序理由 该条目描述了一个用于评估 AI 模型的新工具，而不是前沿模型发布或重要的行业事件。
在 Mastodon — mastodon.social 阅读 →
- Claude Code
- Claude Opus-4.6
- GPT-5.5
- Hugging Face
- Jesse Vincent
- Kimi k3
- OpenAI
- Prime Radiant
- Simon Willison
- smevals
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
