Type 4 prepilin-like proteins leader peptide processing enzyme BN112_2648
PulseAugur coverage of Type 4 prepilin-like proteins leader peptide processing enzyme BN112_2648 — every cluster mentioning Type 4 prepilin-like proteins leader peptide processing enzyme BN112_2648 across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新的ReDiPPO框架提升LLM数学推理能力
研究人员推出了一种名为ReDiPPO的新型框架，旨在增强大型语言模型（LLM）的数学推理能力。该方法解决了数学任务中准确的令牌级信用分配的挑战，这些任务通常具有长推理链和稀疏奖励。ReDiPPO采用参考引导的评论家，利用参考答案进行更精确的值估计，并量化标准和参考引导估计之间的差异，以便在策略优化期间重新加权令牌优势。实验表明，ReDiPPO在数学推理性能上超越了PPO、DAPO和GSPO等现有方法。
-
新的SCOPE-RL框架优化LLM推理路径，提高准确性和效率
研究人员开发了SCOPE-RL，一个新颖的两阶段框架，旨在通过优化大型语言模型（LLM）的推理过程来增强其强化学习能力。该方法引入了更细粒度的奖励信号，在成功结果之前和之后都提供反馈，这有助于区分有效的推理路径和效率较低或有缺陷的路径。实验表明，与仅基于结果的标准强化学习相比，SCOPE-RL显著提高了准确性并减少了推理中使用的token数量。
-
新的UP目标通过平衡探索与稳定性来增强LLM推理能力
研究人员推出了一种名为“无界正向非对称优化”（Unbounded Positive Asymmetric Optimization, UP）的新型目标函数，旨在改进大型语言模型（LLMs）的强化学习（RL）。UP通过允许正向优势的梯度无限制，从而增强探索，同时保持对负向优势的梯度裁剪，以防止训练不稳定，从而解决了当前RL框架中固有的探索-稳定性困境。这种即插即用的目标函数已在各种RL算法、模型架构和训练模式中展现出提高推理准确性的能力。
-
新方法利用奖励模型状态以获得更好的AI反馈
研究人员开发了一种名为表征感知优势估计（GraphAE）的新方法，该方法增强了来自人类反馈的强化学习（RLHF）。该技术利用奖励模型隐藏状态中编码的更丰富信息，而不是仅仅使用标量奖励，来改进优势估计。通过将响应组视为图并使用图传播，GraphAE 整合了来自相似响应的上下文信息，从而实现了更具样本效率和鲁棒性的 RLHF。
-
新CCPO方法改进了多智能体LLM中的信用分配
研究人员开发了一种名为协作信用策略优化（CCPO）的新方法，以解决多智能体大型语言模型（LLM）系统中信用分配的挑战。CCPO充当一个与优化器无关的层，将团队层面的结果转换为智能体特定的学习信号。它采用两个分配器：一个通过模拟智能体的移除来估计其边际贡献，另一个使用约束的自我评估和同伴评估。该方法在双智能体推理任务中显示出改进，特别是在MATH500等数学基准测试上，根据所使用的模型和数据集，收益有所不同。
-
新的强化学习策略提升高频交易表现
研究人员开发了用于限价订单簿高频交易的新型强化学习策略。他们的方法利用订单流信号作为状态表示，并采用策略梯度方法，特别是群组感知近端策略优化（PPO）的变体，如GRPO和GSPO。在AMZN、AAPL和GOOG等金融资产上的回测表明，这些新策略在净利润、盈利能力和回撤方面优于Q-Learning基线。
-
新方法通过恢复近边界信号来稳定LLM推理
研究人员发现，可验证奖励强化学习（RLVR）中存在一个关键瓶颈，阻碍了LLM推理优化。研究指出，标准硬裁剪方法中的僵化裁剪决策是原因，它丢弃了裁剪阈值附近的宝贵信号。为解决此问题，他们提出了近边界随机恢复（NSR）方法，这是一种简单的修改，可以随机保留这些略微超出边界的token，从而提高各种模型大小和架构的训练稳定性和性能。
-
新的S-trace方法提高了RLVR的效率和信用分配
研究人员推出了一种名为选择性合格追踪（S-trace）的新方法，旨在增强大型语言模型在可验证奖励强化学习（RLVR）框架内的推理能力。这种新方法通过超越统一信用分配，解决了现有无批评者算法（如Group Relative Policy Optimization, GRPO）的局限性。S-trace选择性地屏蔽低熵标记，从而实现更高效的学习和细粒度的信用分配，并在Qwen3等模型上展示了卓越的性能和效率。
-
vLLM V1引擎重写在后端修复后实现与V0的对等
Hugging Face的vLLM团队详细介绍了如何将他们新的V1引擎与V0参考模型对齐的过程，重点在于确保后端对等，然后再处理强化学习（RL）目标的变化。他们识别并修复了四个关键问题：处理已处理的logprobs的方式、V1特有的运行时默认值、inflight权重更新路径以及使用fp32作为最终投影层。这些修正对于恢复后端行为以匹配V0参考模型至关重要，从而能够准确评估RL目标调整。