RiSky

大语言模型开发者提出基于严重程度的分级，以防止不可逆的错误

一位大语言模型开发者提倡在评估语言模型时采用基于严重程度的分级系统，而非简单的通过/失败计数。提出的方法将失败分为不可逆（致命）、有风险、遗漏或无害，并强调即使总体得分很高，但只要出现一次不可逆错误就应阻止部署。该开发者分享了其在使用有缺陷的评分系统时，错误地惩罚了正确答案的个人经历，并强调了频繁地将模型输出和写入结果保存到磁盘的重要性，以避免数据丢失并便于重新评分。