实体
model alignment
model alignment
PulseAugur coverage of model alignment — every cluster mentioning model alignment across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
AI 代理安全：将重点从提示词转移到工具权限
这组文章讨论了 AI 代理的安全性，强调主要漏洞不在于提示词操纵，而在于授予代理的广泛权限。核心问题是，代理（将模型与工具执行循环结合起来）可能被不可信的输入引导，滥用其现有凭据和工具。建议的解决方案是在工具边界实现每次调用的授权，确保每次工具调用都根据调用者身份、工具范围和任务上下文进行严格策略评估，并采取默认拒绝策略。
-
人类策展可能损害多模型训练中的 AI 对齐
一篇新的研究论文探讨了使用前一模型迭代生成的合成数据来训练基础模型的复杂性。该研究侧重于多模型交互，揭示了尽管人类策展在孤立环境中可能是有益的，但在模型相互影响时，它会适得其反地损害长期模型对齐。这种跨模型交互会削弱甚至颠覆人类监督的积极影响，导致自消费训练范式中出现意想不到的结果。