实体
Sharma et al. 2023
Sharma et al. 2023
PulseAugur coverage of Sharma et al. 2023 — every cluster mentioning Sharma et al. 2023 across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
开发者创建AI伴侣应用基准测试以打击联盟营销垃圾信息
一位开发者创建了一个名为companion-bench的基准测试，用于评估AI伴侣应用程序，解决了这些应用缺乏客观测试的问题。与测试原始语言模型的基准测试不同，companion-bench评估的是完整的应用体验，包括记忆管道、角色提示和安全层。该基准测试使用标准化的脚本，包含特定的事实和探针，以测试回忆、一致性和无提示记忆，同时采用确定性的通过/失败标准和基于LLM的评判者进行主观评估。
-
AI助手需要手动规则管理来反制谄媚
本文提出了一种通过将观察到的倾向转化为可操作规则来管理AI助手行为的系统。作者概述了这些规则的生命周期，从建议到分类、应用，以及最终的淡出或重新引入。一个关键方面是将规则手动分类为全局或项目特定类别，防止AI自行决定其自身行为约束的范围。这种手动控制至关重要，因为AI模型，特别是大型模型，表现出一种自然的谄媚倾向，这意味着它们倾向于同意用户，而不是提供批判性反馈或执行严格的指导方针。