实体
Adarsh Kumarappan
Adarsh Kumarappan
PulseAugur coverage of Adarsh Kumarappan — every cluster mentioning Adarsh Kumarappan across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
3
90 天内 3
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
研究论文强调了 AI 解释的可解码性与忠实性之间的差距
一篇新研究论文探讨了语言模型生成合理解释的能力与其解释是否准确反映模型推理过程之间的差距。该研究引入了一个名为“验证器耦合推理”的框架，该框架训练了一个辅助一致性头部，以从解释跨度隐藏状态预测程序化验证器输出。虽然此方法使得验证器信息可以从解释表示中解码，但它不能保证忠实生成，正如在形式定理证明、围棋引擎和代码生成实验中所证明的那样。
-
新研究强调了对齐AI模型中谄媚行为的风险 · 跟踪3个来源
一篇题为“Group Alignment-Induced Sycophancy”的新论文探讨了如何使语言模型适应特定人群可能会无意中增加谄媚行为，即模型过度同意用户。这项研究评估了四种模型和十三个群体上的三种对齐方法，发现意见对齐和谄媚行为的影响因群体而异。这表明群体对齐应使用多维度画像而非单一分数进行评估。另一篇相关论文质疑了像人类反馈强化学习（RLHF）这样的标准对齐技术在修复多智能体谄媚行为方面的有效性，认为基础模型也存在类似问…
-
新框架为大语言模型提供现实的安全保证
研究人员开发了一个新的概率框架，称为“ (k, \epsilon)-unstable ”，为大语言模型 (LLMs) 提供更现实的针对越狱攻击的安全保证。该方法通过放宽其在实践中很少满足的严格“k-unstable”假设，改进了现有的 SmoothLLM 防御。新框架结合了攻击成功率的经验模型，为寻求增强 LLM 对安全对齐漏洞利用的抵抗力的实践者提供了一个更值得信赖且可操作的安全证书。