StreamProfileBench

新基准测试 LLM 从流式内容进行动态用户画像的能力

引入了一个新的基准测试 StreamProfileBench，用于评估大型语言模型 (LLM) 从连续到达的内容中推断用户画像的能力，这项任务是当前静态评估所忽略的。该基准测试包含一个数据集，其中包含来自 7,000 多名真实用户在五个平台上的 120,000 多条用户生成内容帖子。对 14 个 LLM 的实验显示，模型在连续更新用户画像方面存在困难，表现出保留旧兴趣的偏见，并且未能识别衰退的兴趣。