LMSYS Chatbot Arena
PulseAugur coverage of LMSYS Chatbot Arena — every cluster mentioning LMSYS Chatbot Arena across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的 SWE-sweep 基准测试评估大型语言模型主动修复 Bug 的能力
来自 Meta、Stanford、Harvard 和 UW 的研究人员开发了 SWE-sweep，这是一个新的基准测试，旨在评估大型语言模型在影响用户之前主动识别和修复大型代码库中 Bug 的能力。该基准测试使用真实世界的 Bug，并根据模型在给定代码库中查找和解决这些问题的成功程度对其进行评分。早期结果表明，虽然一些模型表现不佳，但 Luna xhigh 显示出成本效益，研究人员正在寻求推荐其他开源模型以纳入未来的更新。
-
GPT-6 Astra 与 Claude Fable 5.1 在基准测试中对决
OpenAI 的 GPT-6 Astra 与 Anthropic 的 Claude Fable 5.1 的直接比较揭示了每个先进 AI 模型各自的优势。GPT-6 Astra 凭借其 1.1M 的上下文窗口在处理海量代码库方面表现出色，并在形式数学推理方面展现出卓越的性能，在 FrontierMath 上取得了 97.6% 的得分。另一方面，Claude Fable 5.1 在细致的系统提示遵循和复杂的多角色编排方面处于领先地位，在 …
-
开发者发现 LLM-as-a-Judge 系统不可靠且存在偏见
一位开发者构建了一个基于 LLM 的评分系统，称为“LLM-as-a-Judge”，用于评估其他语言模型的响应。该系统使用来自 LMSYS Chatbot Arena 的数据，并与人类偏好进行了测试。实验揭示了两个关键的失败之处：裁判模型表现出较低的分数稳定性以及狭窄的输出范围，很少偏离 7 或 8 分，因此缺乏区分度。此外，在将平局视为失误的情况下，裁判模型与人类偏好的吻合度仅为 43%，表明它常常无法区分正确和错误的答案，有时甚至…
-
研究发现LLM代币定价易被多收费
一篇新的研究论文探讨了大型语言模型当前按代币计费定价模式中的经济激励和漏洞。研究表明，提供商可以通过错误报告代币使用量来故意向用户多收费，而用户很难检测到这种做法。该论文提出了一种基于字符计数的替代定价机制，以消除这些激励并维持提供商的盈利能力。