Yejin Lee

新的韩语数据集应对LLM中的混淆毒性语言

研究人员推出了KOTOX，一个旨在提高对韩语毒性语言检测和净化能力的新数据集，特别是在用户使用混淆技术时。该数据集对韩语混淆模式进行了分类，并提供了源自真实世界示例的转换规则，从而能够创建成对的中性、毒性和混淆句子。在KOTOX上训练的模型在处理混淆文本方面表现出更强的能力，同时不影响其处理非混淆内容的能力，这标志着在减轻韩语语言模型中伪装的毒性表达方面迈出了重要一步。