一个名为 Indi-RomCoM 的新基准已被开发出来，用于评估大型语言模型 (LLM) 理解和处理罗马化代码混合 (RCM) 的能力。RCM 是一种将印度语言与英语混合在罗马字母中的交流方式。研究人员发现，当前的 LLM 在 RCM 指令上的表现明显不佳，随着代码混合密度的增加，性能会下降。然而，与检测任务相比，推理任务的性能下降幅度较小，因为生成的解释提供了关键的上下文。该基准旨在促进更具包容性的多语言人工智能系统的发展。 AI
影响 突出了 LLM 在多语言沟通能力方面的差距，可能推动更具包容性的人工智能系统的发展。
排序理由 该集群是关于一篇介绍 LLM 评估基准的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
