Delivery Calibration

新框架使用学习理论评估 LLM 信息校准

研究人员开发了 KnowSim，这是一个用于大型语言模型 (LLM) 的新评估框架，专注于信息校准。KnowSim 使用了一个用户模拟器，该模拟器显式地模拟用户不断变化的信息单元图表示知识状态。该框架计算知识增益、交付校准和认知过载等指标，以评估 LLM 在多大程度上根据用户的理解来匹配其内容。与人类-AI 会话的验证表明 KnowSim 在对 LLM 进行排名和识别能力-处理交互方面的有效性。