实体
SeqKD
SeqKD
PulseAugur coverage of SeqKD — every cluster mentioning SeqKD across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
AWS SageMaker AI 使用知识蒸馏创建高效的智能体
AWS 正在使开发人员能够使用 Amazon SageMaker AI 上的知识蒸馏来构建更具成本效益的智能体。该技术允许较小的“学生”模型通过学习较大、成本较高的“教师”模型的输出来复制其性能。该过程，特别是序列级知识蒸馏 (SeqKD)，在由前沿教师模型生成的多步推理轨迹上训练学生模型，从而使智能体应用在生产中更高效、更具可扩展性。
-
新研究改进 LLM 的黑盒蒸馏 · 跟踪 2 个来源
两篇新研究论文探讨了黑盒在线策略蒸馏的进展，这是一种用于从大型、API 可访问的教师模型训练小型学生语言模型的技术。第一篇论文介绍了“持久负对抗蒸馏”，它通过使用历史比较池来解决对抗训练中移动目标的问题。第二篇论文提出了“分组奖励几何条件”（GRGC），通过在评论员训练和策略优化期间校准奖励几何来改进优势的构建。这两种方法都旨在提高蒸馏过程的有效性和稳定性，并在各种基准测试和模型系列中显示出一致的性能改进。