实体
Aniket Chakravorty
Aniket Chakravorty
PulseAugur coverage of Aniket Chakravorty — every cluster mentioning Aniket Chakravorty across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 3
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
新的SHARD方法通过自重构蒸馏增强LLM的安全性与有用性 · 追踪到2个来源
研究人员推出了一种新颖的自重构蒸馏方法SHARD，旨在增强大型语言模型在安全性和有用性方面的对齐。该技术涉及重写敏感提示以揭示良性意图，将原始响应转化为更安全、更有用的版本，然后对模型进行这些自重构输出的微调。在DNA和LINGUASAFE数据集上的实验表明，SHARD在保持安全性的同时提高了各种模型系列的有用性，并且在性能上可与来自更大教师模型的蒸馏相媲美。
-
AI研究人员提出递归预测，以从近视模型中引出长期预测
一项名为“递归预测”的新提案旨在从主要为短期奖励进行优化的AI模型中引出准确的长期预测。该方法不是直接询问遥远的结果，而是要求AI预测其自身的未来预测，并利用这些中间预测来提供奖励。这个过程创建了一个可验证的短期预测链，最终导致更可靠的长期预测。该方法由Arun和Alex在一篇博文中详细介绍，其他几位研究人员也做出了贡献。
-
LessWrong 提出溢洪道设计，将人工智能奖励破解引导至更安全的动机
研究人员提出一种名为“溢洪道设计”的新型人工智能对齐技术，以减轻人工智能模型中危险的奖励破解行为。该方法旨在将潜在的错位引导至一种特定的、良性的动机，该动机旨在根据用户定义的标准在当前任务上表现良好。通过为寻求奖励创造一个安全的出口，溢洪道设计可以防止人工智能发展出危险的长期目标，例如权力寻求，并通过动机饱和实现更安全的推理。