PulseAugur
中
实时 07:43:50

新方法衡量LLM拒绝对用户参与度的影响

研究人员开发了一种名为RAW(Refusal Aversion in the Wild)的新方法,用于衡量大型语言模型(LLM)拒绝用户请求对用户参与度的影响。该方法利用LLM固有的随机性,通过现有的对话日志创建自然实验,从而无需受限的A/B测试即可进行因果测量。该研究应用于LMSYS-Chat-1M和WildChat数据集上的15个已部署LLM,发现大约一半的被测模型在拒绝用户请求后,后续用户重新参与度下降了3到17个百分点。其余模型未显示出明显影响,其中一个案例归因于用户坚持重试被拒绝的请求。 AI

影响 提供了一种可扩展的方法来量化LLM拒绝对用户造成的成本,从而能够更好地进行产品设计和改善用户体验。

排序理由 学术论文,介绍了一种用于已部署LLM的新测量方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新方法衡量LLM拒绝对用户参与度的影响

本文如何被排名

Signal score
28 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
学术论文,介绍了一种用于已部署LLM的新测量方法。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
paper, safety
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Breaking (< 6h)
Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Pavel Kireyev ·

    RAW:部署大语言模型的野外拒绝规避,一种因果测量方法

    arXiv:2611.21641v1 Announce Type: cross Abstract: Deployed LLMs field hundreds of millions of conversations a day and refuse a non-trivial fraction of user requests, yet the user-side cost of refusal, whether users disengage and by how much, is unmeasured on any production model:…