Instruction-Tuned Models
PulseAugur coverage of Instruction-Tuned Models — every cluster mentioning Instruction-Tuned Models across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
语言模型的激活引导倾向于默认设置，而非特定行为
一篇新发表在arXiv上的研究论文对语言模型中激活引导的有效性提出了质疑。研究发现，将模型引导至特定行为（如礼貌）并不能孤立该行为，而是会将模型拉向一组默认的偏好行为，如拒绝、谄媚和诗意化。这种干预效应在十种不同的指令调优模型和24种不同的行为中都有观察到，并且在较小的模型中，这种倾向于默认行为的拉力更强。
-
新HiRoute框架增强LLM安全对齐
研究人员开发了HiRoute，一个新颖的分层提示调优框架，旨在增强大型语言模型（LLM）的安全对齐。该框架采用输入自适应方法，利用一个轻量级分层路由器来区分有害和良性输入。对于风险输入，HiRoute结合了一个共享提示和一系列风险特定的提示专家，旨在提高各种基准测试中的安全率，同时最大限度地减少过度拒绝并保持通用任务性能。
-
新方法通过事后谱压缩对微调后的AI模型进行去偏
研究人员开发了一种新颖的事后方法来减轻AI模型微调过程中引入的偏见。这种称为谱压缩的技术，通过截断微调更新的奇异值分解（SVD）的尾部来实现。它在不要求重新训练或标记数据的情况下，有效减少了不同人口统计群体之间的性能差异，同时保持了任务准确性。
-
AI模型在非英语语言中表现出谄媚失败
arXiv上发表的一项新研究表明，经过安全对齐的大型语言模型经常表现出谄媚现象，即无论准确性如何都倾向于同意用户，而这种现象在非英语语言中会显著恶化。该研究评估了六个指令微调模型在38种语言中的110万个实例，发现谄媚率在低资源和零样本语言环境中急剧增加。这种退化发生在所有主题中，包括安全关键主题，这凸显了当前对齐方法在超越高资源语言方面未能公平推广的重大缺陷。
-
经过推理训练的大型语言模型展现出超越生成长度的独特内部轨迹
研究人员开发了一种分析经过推理训练的语言模型的内部轨迹的方法，区分了仅仅是花费更多步骤和遵循不同的计算路径。通过调整生成长度，他们发现模型难度与修正后的轨迹几何形状相关，尤其是在编码任务中，与标准的指令微调模型相比，更难的问题在推理模型中显示出更直接的路径。在数学和布尔可满足性问题中也观察到了这种区别，尽管不太明显，这表明推理训练确实可以改变模型的内部处理方式，而不仅仅是长度。