研究人员开发了一种名为RAW(Refusal Aversion in the Wild)的新方法,用于衡量大型语言模型(LLM)拒绝用户请求对用户参与度的影响。该方法利用LLM固有的随机性,通过现有的对话日志创建自然实验,从而无需受限的A/B测试即可进行因果测量。该研究应用于LMSYS-Chat-1M和WildChat数据集上的15个已部署LLM,发现大约一半的被测模型在拒绝用户请求后,后续用户重新参与度下降了3到17个百分点。其余模型未显示出明显影响,其中一个案例归因于用户坚持重试被拒绝的请求。 AI
影响 提供了一种可扩展的方法来量化LLM拒绝对用户造成的成本,从而能够更好地进行产品设计和改善用户体验。
排序理由 学术论文,介绍了一种用于已部署LLM的新测量方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →