一个团队开发了一个基准测试,用于评估大型语言模型在不太常见的编程语言(包括 Elixir、OCaml 和 Haskell)上的表现。他们测试了 Qwen3.6 27B 和 Qwen3.8 27B,发现 Qwen3.8 解决了 43% 的任务,相比 Qwen3.6 的 17% 有显著提升。该基准测试还包括与其他模型(如 Kimi K3 和 DeepSeek)的比较,并提供按语言划分的性能明细。 AI
影响 为 LLM 在不太常见的编程语言上的表现提供了见解,帮助开发者为小众任务选择合适的模型。
排序理由 该条目描述了 LLM 在特定编程语言上的基准测试和评估,属于研究范畴。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →