rejection sampling
PulseAugur coverage of rejection sampling — every cluster mentioning rejection sampling across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
AI对齐技术详解：从SFT到集成方法
作者概述了训练AI系统以实现对齐和合乎道德行为的各种技术。这些方法包括利用内部模型状态或外部输出来作为奖励信号，调整训练数据分布，以及采用不同的学习目标，如监督微调、强化学习或基于声明事实的训练。该方法还考虑使用集成方法结合拒绝采样和因子化认知来创建更鲁棒的对齐系统，并强调了审问模型以检测潜在破坏的重要性。
-
新的VEGAS指标使视频字幕与观众注意力保持一致
研究人员推出了VEGAS（Video caption Evaluation via GAze Score），一种新颖的指标，旨在通过将生成的文本与个体观众的注意力对齐来改进视频字幕。与传统方法不同，VEGAS无需训练，并使用测试时眼动追踪数据来选择更符合观众焦点的个性化字幕。这种方法在字幕到视频检索等下游任务中表现出性能提升，突显了将观众注意力纳入字幕过程的实际益处。
-
新的选择性重要性采样方法改进了 LLM 对齐
研究人员推出了一种名为选择性重要性采样 (SIS) 的新型即插即用方法，旨在改进大型语言模型 (LLM) 在强化学习后训练期间的对齐。该方法通过将接受的令牌视为同策略来解决离策略训练数据的问题，从而简化了重要性校正过程。SIS 在理论上被证明可以减小梯度估计器差距，并且计算开销极小，使其能够与各种 RL 后训练算法兼容。实验表明，SIS 在不同 LLM 架构和基准测试中始终能改进目标并增强鲁棒性。
-
新研究区分了合成数据扩展方法
一篇来自arXiv的新研究论文探讨了两种扩展合成数据生成的方法：源扩展（SE）和固定源合成（FSS）。该研究通过保持源材料和教师模型不变，同时改变生成预算来分离FSS。研究人员调整了一个扩展定律来适应FSS，并发现虽然SE和FSS在低预算下相当，但在高预算下，当添加更多源材料比从固定源生成更多响应更有效时，SE的表现优于FSS。研究结果表明，FSS是一个适合比较合成协议的有界扩展轴。
-
新的IVRS方法增强了贝叶斯机器学习后验近似
研究人员引入了隐式变分拒绝采样（IVRS），这是一种旨在增强贝叶斯机器学习中后验近似的新颖方法。该技术将神经网络建模的隐式分布与拒绝采样相结合，利用判别器网络通过估计密度比来改进近似。IVRS旨在克服传统均场变分推断的局限性以及单独使用神经网络约束可能产生的误差。所提出的方法还引入了隐式重采样证据下界（IR-ELBO）用于质量评估，并推导出了更紧的变分下界，实验结果表明其性能优于现有的变分推断方法。