JGOS-31B-Citizen

新基准衡量 LLM 自我纠错能力，而非仅仅准确性

JGENai 和 VIDRAFT 推出了一个新的专注于 LLM 元认知的基准和排行榜，评估模型检测自身错误的能力，而非仅仅其准确性。该基准包含 400 个旨在欺骗模型的对抗性问题，并有一个公开排行榜，根据准确性和自我纠错能力对 24 个韩语和多语言 LLM 进行排名。还提供了轻量级、非侵入式适配器，用于评估现有模型在不改变其权重或架构的情况下产生错误响应的风险。