WildChat
PulseAugur coverage of WildChat — every cluster mentioning WildChat across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新研究表明，提示措辞显著影响LLM的建议回应
一篇来自Large Model Systems Organization、发表在arXiv上的新研究论文，提出了一种理解用户如何措辞寻求建议的提示词会影响大型语言模型（LLM）回应的新方法。该研究分析了来自WildChat、LMSYS和ShareChat等公共聊天语料库中的16,447个提示词，识别出与查询主题可分离的、独特的潜在表达因素。一种被识别出的表达方式，其特点是长篇幅但信息贫乏的提示词，即使在需要澄清的情况下，也会持续导致L…
-
AI Observatory 提供独立分析，挑战公司说法
一个名为AI Observatory的新研究项目旨在提供关于人们如何使用生成式AI模型的独立见解。与Anthropic和OpenAI等公司发布的报告不同（研究人员声称这些公司选择性地发布数据），AI Observatory在获得用户同意的情况下汇总和分析真实的AI对话。他们的发现表明，与AI公司暗示的相比，与工作相关的用途不太普遍，很大一部分互动涉及敏感话题，如健康、人际关系、成人内容和骚扰，而这些话题在公司发布的报告中常常被过滤掉。
-
新基准评估多智能体路由的准确性-成本权衡
研究人员引入了一个新的多智能体路由基准和评估协议，将其视为一个值集预测问题。该基准源自 WildChat，包含 3,000 个提示和 12 个智能体的目录，旨在研究智能体选择中准确性和成本之间的权衡。结果表明，监督式路由器的性能明显优于最近邻和零样本 LLM 路由等简单方法，其中微调编码器在无约束准确性方面表现最佳。该研究还强调了在约束环境下将加权智能体路由 (WAR) 应用于监督式评分器的有效性，特别是在编码器+WAR组合方面。
-
探索利用公开聊天数据评估AI模型安全性
研究人员正在探索使用公开聊天数据作为替代私有生产数据的方法，以评估前沿AI模型。这种被称为“部署模拟”的方法旨在通过分析真实对话来预测模型在部署前的不可取行为。该研究调查了使用像WildChat这样的公开可用数据集是否能提供与内部私有数据相似的见解，从而使外部团体能够更有效地评估模型行为。
-
OpenAI发布部署模拟以预测AI模型行为
OpenAI开发了一种名为部署模拟的新方法，用于预测AI模型在发布前在真实世界场景中的行为。该技术使用去标识化的用户数据来模拟部署条件，在各种类别和GPT-5系列模型中与观察到的行为显示出很强的相关性。虽然传统评估仍然至关重要，但这种模拟方法旨在估计不良行为的频率并在部署前识别新问题。
-
研究：商业 LLM 在安全提示方面的表现优于开源模型
一项新研究分析了来自 WildChat 数据集的 14,727 个安全和隐私提示，结果显示用户经常寻求在线自我保护的建议。商业大型语言模型，如 GPT 5.5，表现出卓越的性能，对 98% 的提示提供了充分的响应，而 Llama 4 等开源模型仅成功处理了 47%。尽管平均响应质量很高，但商业模型有时在不同运行中提供相互矛盾的建议，可能误导用户。
-
AI聊天机器人因对齐训练而重复Elias Thorne的故事
一个名叫Elias Thorne的反复出现的角色，通常被描绘成灯塔看守人或钟表匠，出现在由各种大型语言模型生成的故事的相当大一部分中。康奈尔大学的研究人员发现，在从ChatGPT、Claude和Gemini等模型中抽样的故事中，有11个特定的词语和角色原型出现在88%以上的故事中。这种现象归因于模型的安全和对齐训练，其根源可以追溯到OpenAI的GPT-3.5和一个名为WildChat的数据集，该数据集可能无意中像一个
-
新研究通过逼真的用户画像来解决AI代理的训练问题
两篇新研究论文探讨了当前用户模拟器在训练AI代理方面的局限性。第一篇论文介绍了Persona Policies (PPol)方法，该方法可以为模拟器生成更逼真、更多样化的用户画像，从而使AI代理在与真实用户交互时更加鲁棒。第二篇论文通过衡量使用用户模拟器训练出的AI助手与真实人类的性能对比，量化了用户模拟器的效用，发现基于真实人类行为的用户模拟器比基于简单角色扮演LLM的用户模拟器能产生显著更好的结果。
-
新基准‘Prosa’评估巴西葡萄牙语聊天中的LLM
研究人员推出了Prosa，这是一个新的基准，旨在通过巴西葡萄牙语的真实用户对话来评估大型语言模型（LLM）。该基准使用基于评分标准的评分系统，并结合多裁判过滤来减轻整体LLM作为裁判评估中常见的偏见。Prosa包含1000个WildChat对话，旨在通过增加模型之间的分数差距来提高LLM评估的区分能力。