Sungmok Jung

新的韩语否定基准'Thunder-KoNUBench'发布，用于评估大型语言模型

研究人员推出了Thunder-KoNUBench，这是一个旨在评估大型语言模型（LLMs）在韩语中否定理解能力的新基准。该基准是通过对韩语否定进行语料库分析而开发的，研究表明LLMs在遇到否定时性能通常会下降。该研究评估了47个LLMs，分析了模型大小和指令调优对否定理解能力的影响。研究结果表明，在Thunder-KoNUBench上微调模型可以增强它们在韩语中的否定理解和整体语境理解能力。