Chinese neologisms

新基准 CNeo-Bench 揭示大型语言模型难以处理中文新词

研究人员推出了 CNeo-Bench，这是一个旨在评估大型语言模型 (LLM) 对中文新词的理解和处理能力的新基准。该基准包含 4,759 个新词，并根据其语言机制进行分类，例如语音替换和视觉字符分解。对 18 个大型语言模型的初步评估显示，大多数模型在生成这些新词的准确定义方面存在困难，准确率通常低于 40%。在模型描述新词的能力与其在特定任务中重现原始新词的能力之间观察到一个显著差距，这表明存在超越简单提示的挑战。