FLNA
PulseAugur coverage of FLNA — every cluster mentioning FLNA across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
AI代理将变革金融业,监管机构制定框架
人工智能将彻底改变金融和银行业,AI代理能够检测收益率差异和稳定性信号,并以极快的速度自主移动资金。CSBS等监管机构正在为AI制定监管框架,同时恶意行为者正在通过在主要组织网站上植入代码来利用AI。金融行业正在迅速采用AI,数十亿美元的保险资产被投资,银行正竞相跟上其对金融稳定性的潜在影响。
-
新的 On-Policy 蒸馏方法提高了 LLM 的训练效率
研究人员正在探索新的 On-Policy 蒸馏 (OPD) 方法,以提高大型语言模型训练的效率和有效性。一种方法是流式 On-Policy 蒸馏 (Streaming On-Policy Distillation),它将响应生成、监督传递和参数更新解耦,以实现连续生成和有针对性的损失计算。另一种方法 B-OPSD,仅从问题生成问题摘要,在不需要真实答案的情况下提供教师指导,在数学推理任务上显示出更高的准确性。第三种技术,随机视界 On…
-
SkillDuet 通过共同进化技能循环推进 AI 代理训练 · 跟踪到 1 个来源
一篇新论文介绍了 SkillDuet,这是 AI 代理训练的一项进展,它建立在 SEED-API 框架之上。虽然它不是 Qwen4 的直接后继者,但它在实验中使用了 Qwen3-4B,并整合了先前关于代理技能和强化学习工作的概念。SkillDuet 的核心创新在于其共同进化循环,其中代理技能和模型参数相互影响,以及一种新颖的“强度”评分机制,该机制根据技能对模型响应变化的影响来评估技能,优先考虑那些显著塑造模型行为以实现长期保留的技能。
-
On-Policy Distillation 相较于 GRPO 显示出计算效率的提升
一篇新的研究论文探讨了与Group Relative Policy Optimization (GRPO) 相比,On-Policy Distillation (OPD) 在训练大型语言模型时的计算效率。虽然在使用外部教师时,GRPO在每训练FLOPs的准确率方面通常优于OPD,但OPD在自行训练检查点时表现出显著的效率提升,需要更少的FLOPs即可达到可比的准确率。研究还强调,多教师OPD可以将专门的GRPO模型整合到一个学生模型中…
-
ReuseGR系统提升生成式检索效率和个性化水平
研究人员开发了ReuseGR,一个新颖的生成式检索系统,旨在提高效率和个性化。该系统将离线查询规划与在线个性化完成解耦,允许一个较小的模型跨相似请求复用一个较大模型的计算。这种方法显著降低了延迟,同时保持或提高了检索质量和用户参与度指标,这在离线实验和用户级别的A/B测试中得到了证明。
-
Projected Distillation 增强 AI 在复杂任务上的学习能力
研究人员提出了一种名为“投影蒸馏”的新型 on-policy 学习方法,该方法在 AI 模型处理复杂任务时尤其有效,因为在这些任务中,初始尝试往往会失败。该方法通过对模型不正确的生成进行最小编辑,创建修正后的目标,从而即使在所有学生尝试都错误的情况下也能进行学习。实验表明,投影蒸馏在数学、代码和科学等多个领域均优于 GRPO 和 OPD 等现有方法,它在专业化与保留现有能力之间取得了平衡。
-
新研究论文详细介绍了用于增强LLM推理能力的OPD-then-RL方法
一篇新研究论文提出了一个名为OPD-then-RL的两阶段方法,用于提高大型语言模型的推理能力。该方法结合了On-Policy Distillation (OPD) 和 Reinforcement Learning with Verifiable Rewards (RLVR),首先使用OPD进行广泛覆盖,然后应用RLVR进行精炼。实验表明,这种顺序策略在逻辑和数学推理基准测试中优于联合优化方法。
-
新蒸馏方法提升AI模型多样性迁移能力
研究人员推出了一种名为Influence-Directed Adaptive On-Policy Distillation (IDA-OPD)的新方法,以解决语言模型中多样性蒸馏失败的问题。该技术旨在改进学生模型继承教师模型多样性的方式,这是一个常见问题,即学生模型在单Token预测上的性能有所提升,但其整体多样性却停滞不前。IDA-OPD通过分析模型更新的熵效应,选择性地保留有益的更新并修改有害的更新来实现这一点,而且无需教师模型的…
-
深入解析:RL和策略蒸馏在LLM训练中的应用
一篇关于用于训练大型语言模型(LLM)的强化学习(RL)和策略蒸馏(OPD)的深度解析已发布,详细介绍了这些算法的数学和编码方面。内容旨在阐明这些技术如何与预训练和监督微调联系起来,并与Kimi、DS、Qwen和GLM等前沿模型进行类比。该资源包含一个YouTube视频以供进一步解释和讨论。
-
Reddit用户寻求消费级GPU上OPD/OPSD与GRPO算法的实现
Reddit的r/MachineLearning板块的一位用户正在寻找学习On Policy Distillation (OPD)和On Policy Self Distillation (OPSD)算法的资源。他们特别关注这些方法与GRPO的对比,并正在寻找可以在Nvidia RTX 4090或5090等消费级GPU上运行的GitHub仓库或关于合适SLM和数据集的指导。
-
新方法RSTG通过自适应教师指导改进LLM强化学习
研究人员开发了RSTG(Recovering Learning Signals via Adaptive Teacher Guidance,通过自适应教师指导恢复学习信号),一种改进大型语言模型强化学习的新方法。现有的GRPO等方法在稀疏奖励方面存在困难,而与在线蒸馏(OPD)的简单组合可能会降低性能。RSTG选择性地将蒸馏应用于负面提示,根据教师的置信度对样本进行加权,并针对特定标记进行蒸馏。它还通过注入正梯度来纳入教师生成的轨迹上…
-
新的On-Policy Delta Distillation方法增强了LLM的推理能力
研究人员引入了一种名为On-Policy Delta Distillation (OPD^2) 的新方法,以提高大型语言模型中推理能力的迁移。该技术利用“delta信号”(表示指令微调前教师模型与其基础模型之间的差异)来提供更直接的监督。在数学、科学和代码推理任务上的实验表明,OPD^2 的性能显著优于传统的on-policy distillation,使得LLM能够以最小的训练后调整实现强大的推理性能。
-
新的蒸馏方法增强了多模态AI的推理能力
研究人员开发了新的策略内蒸馏技术,以改进多模态AI模型。OPOD方法将学生响应路由到特定模态的教师,在各种基准测试中取得了最先进的成果。对比策略内蒸馏(COPD)和策略内增量蒸馏(OPD^2)分别通过关注相对推理兼容性和指令调优的增量信号,进一步改进了这一点,从而实现了更高效、更强大的模型。
-
新方法增强在线策略蒸馏以进行AI模型训练 · 已追踪6个来源
研究人员正在开发新的在线策略蒸馏方法,这是一种通过让较小的AI模型学习较大、能力更强的模型的输出来训练这些较小模型的技术。Apple Machine Learning Research 引入了一个诊断框架,用于分析在线策略蒸馏在何处以及为何有效,发现该信号在学生模型不正确的输出时更有益。同时,Veto 和 RG-OPD 等新方法通过重新构建蒸馏目标或使用验证器反馈来过滤不可靠的教师信号,旨在稳定训练。此外,ReOPD 提供了一种离环境…
-
Trust Region Policy Distillation 增强了 AI 训练的稳定性
研究人员推出了一种名为 Trust Region Policy Distillation (TOP-D) 的新方法,旨在稳定通常不稳定的 On-Policy Distillation (OPD) 训练过程。TOP-D 通过动态创建一个近端教师模型来实现这一点,该模型理论上可以控制梯度方差并提供正式的全局收敛分析。在实践中,TOP-D 在不引入任何额外计算开销的情况下,在训练稳定性、样本效率和数学推理任务的性能方面都取得了改进。
-
Qwen-Image-2.0-RL 通过 RLHF 和蒸馏增强扩散模型
研究人员开发了 Qwen-Image-2.0-RL,这是一个新的管线,用于增强 Qwen-Image-2.0 扩散模型在图像生成和编辑方面的能力。该管线利用来自人类反馈的强化学习 (RLHF) 和 on-policy 蒸馏 (OPD) 来提高视觉质量和指令遵循能力。该系统采用了文本到图像和图像编辑任务的复合奖励模型,其中包含对齐、美学和人脸身份保留等要素。评估显示,与基础模型相比,在美学质量、提示遵循度和编辑准确性方面都有显著提升。
-
在线策略蒸馏更新被发现稀疏且几何特征独特
一篇新的研究论文探讨了在线策略蒸馏(OPD)的机制,这是一种结合在线策略学生轨迹和密集教师监督的训练后技术。研究表明,OPD更新很小且在坐标上是稀疏的,主要影响前馈网络(FFN)模块。这种稀疏性是有功能的,因为仅训练识别出的子网络即可接近完全训练的性能。此外,研究表明,虽然更新在数值上是满秩的,但它们在频谱上是集中的,并且与原始权重的秩主奇异子空间不一致,这表明OPD保留了在线策略训练后编辑的独特几何特性,而不是作为标准的密集参数重写。