一项名为 hinglishbench 的新评估，衡量了三个大型语言模型在印度常见的罗马化印地语-英语混合语（Hinglish）问题上的表现。研究发现，Beam-1.0-501B-A23B 表现出“代币税”，对于相同的数学问题，其 Hinglish 回答所需的输出代币数量大约是英语回答的 1.5 倍。相比之下，Qwen3-32B 在 Hinglish 输入上的准确性有所提高，而 Gemma-3-27B-IT 在准确性或代币使用方面没有显示出显著差异。该评估仅限于每个问题运行一次，并依赖于自动质量检查，翻译由 Beam 模型本身执行。 AI
影响 突显了在非英语、混合语环境中运行的大型语言模型可能存在的成本和准确性权衡。
排序理由 研究论文评估大型语言模型在特定语言变体上的表现。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
