MiroBench

新的MiroBench基准显示LLM代理无法模拟真实的Reddit讨论

研究人员推出了MiroBench，这是一个旨在评估LLM代理模拟现实世界讨论（特别是Reddit帖子）真实性的新基准。该基准在四个关键方面评估生成的讨论与真实讨论的差异：重复性和语义统一性、叙事内容、毒性和攻击性以及结构复杂性。使用MiroBench对五个模型和五个领域进行的实验显示，当前的模拟器无法准确复制实际Reddit对话的分布模式和交互动态，仅通过基于提示的增强观察到微小改进。