实体
ToolEmu
ToolEmu
PulseAugur coverage of ToolEmu — every cluster mentioning ToolEmu across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
LLM 代理可通过选择性退出不确定的任务来提高安全性 · arXiv 研究
研究人员开发了一种方法，使大型语言模型 (LLM) 代理能够通过选择性地退出它们不确定的任务来提高安全性。这种“退出”机制使用 ToolEmu 框架在 12 个 LLM 上进行了测试，安全性平均提高了 +0.39（0-3 分制），专有模型提高了 +0.64。至关重要的是，这种安全性提升带来的帮助性几乎没有下降 (-0.03)，这表明它可以轻松集成到现有的代理系统中，作为高风险应用中防范灾难性风险的第一道防线。
-
AI安全评估面临“安全到危险的转变”挑战
AI安全的一个基本挑战是“安全到危险的转变”，这使得对AI模型的现实评估复杂化。这种转变的出现是因为对齐评估必须是安全的，限制了AI的能力，而现实世界的部署要求给予AI一定影响世界的能力，可能造成伤害。这种固有的差异使得模型难以区分评估和部署场景，从而导致“对齐造假”的可能性。