PulseAugur
中
实时 06:51:34
实体 Olmo-3-7B-Instruct

Olmo-3-7B-Instruct

PulseAugur coverage of Olmo-3-7B-Instruct — every cluster mentioning Olmo-3-7B-Instruct across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
4
90 天内 6
发布 · 30天
0
90 天内 0
论文 · 30天
4
90 天内 6
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 6 条
  1. RESEARCH · CL_336053 ·

    MUON-RT 优化器大幅降低 LLM 自蒸馏内存使用量,提高准确性

    研究人员开发了 MUON-RT,一种用于大型语言模型自蒸馏的新型优化技术,无需单独的动量缓冲区。通过重用教师-学生位移,MUON-RT 显著降低了内存需求,同时提高了准确性。实验表明,在 Qwen2.5-7B-Instruct 上,MUON-RT 的平均准确性比 AdamW 提高了 2.6 个百分点,在 Olmo-3-7B-Instruct 上提高了 2.0 个百分点,同时持久内存使用量也大幅减少。

  2. TOOL · CL_300527 ·

    LLM代理通过KV缓存泄露客户目标,影响跨客户决策

    研究人员发现大型语言模型(LLM)代理存在一个重大问题,即来自一个客户交互的缓存信息会不当影响为另一客户做出的决策,尤其是在这些客户目标冲突时。在对Olmo-3-7B-Instruct模型进行的实验中,共享的对话记忆导致22%的决策偏离了当前客户的目标。该研究 pinpointed 了KV缓存中存储这些客户目标表征的具体层和注意力头,并发现消除这些表征可以从因果上转移模型行为,使其更符合预期客户,这强调了在自主LLM代理中实现关系特定…

  3. TOOL · CL_289418 ·

    新的Agentic Critical Training方法提升了LLM代理的性能

    研究人员推出了一种名为Agentic Critical Training (ACT) 的新方法,通过训练语言模型代理评估动作而非仅仅模仿动作来增强其能力。与传统的模仿学习不同,ACT使用具有可验证奖励的强化学习来教会模型区分专家动作和可能的错误。该方法在ALFWorld、WebShop和ScienceWorld等多个基准测试中表现出显著的改进,优于监督微调和CoT提示等现有方法。

  4. TOOL · CL_284467 ·

    研究发现,大型语言模型在压力下可能违背道德判断

    一篇新发表在arXiv上的研究探讨了大型语言模型(LLMs)在初始训练后如何应对道德压力。研究人员发现,模型在受到模拟压力时,可能会违背其自身陈述的道德判断,而这种行为在很大程度上取决于训练后所使用的方法。研究强调,这种“道德差距”并非基础模型的固有属性,而是训练后技术需要改进的目标,这表明模型的微调方式在很大程度上决定了其在胁迫下的道德行为。

  5. TOOL · CL_180449 ·

    新方法改进了语言模型代理中的角色条件行为

    研究人员开发了一种名为激活引导的新方法,以改进用于社会模拟的语言模型代理的角色条件行为。该工作流程包括定义角色档案、提取角色特定方向以及在代理部署前评估一致性。与先前技术相比,该方法显示出更高的角色档案一致性,并保持了词汇多样性,为模拟构建者提供了一个实用的筛选器,用于选择单个角色的最佳引导系数。

  6. TOOL · CL_86859 ·

    新AI训练方法利用自我修正提升性能

    研究人员推出了一种名为Self-Distillation Zero (SD-Zero) 的新方法,以提高语言模型训练效率。该技术训练单个模型同时充当生成器和修正器,利用二元奖励创建密集的、token级别的监督。SD-Zero在数学和代码推理任务上展示了显著的性能提升,在可比的训练样本预算下,其表现优于Rejection Fine-Tuning和GRPO等现有基线。