新框架EvalConvoLearn评估基于LLM的学习者模拟

研究人员推出EvalConvoLearn，一个用于评估对话式学习者模拟的开源框架。该框架基于两个关键方面评估模拟：学习行为，特别是技能条件下的掌握结果；以及对话质量，包括谈话方式、错误类型、提问率和轮次长度。EvalConvoLearn将其指标建立在真实的辅导对话数据集上，以衡量模拟学习者在多大程度上复制真实学习者的行为，并将其生成的导师回复锚定在现有的导师话语中。该框架已通过一个辅导对话数据集进行了演示，并包含两个基于LLM的学习者模拟的结果，代码可在GitHub上获取。 AI

影响 为评估人工智能驱动的教育模拟的保真度提供了一种标准化方法。

排序理由 该集群描述了一篇学术论文，该论文介绍了一个用于评估基于LLM的学习者模拟的新开源框架。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• arXiv
• Baptiste Moreau-Pernet
• EvalConvoLearn
• GitHub
• Hugging Face

• 论文
• 产品

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →