DeepSeek-R1-Distill-Qwen-7B
PulseAugur coverage of DeepSeek-R1-Distill-Qwen-7B — every cluster mentioning DeepSeek-R1-Distill-Qwen-7B across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新研究解决语言模型训练、压缩和遗忘问题
研究人员开发了改进语言模型训练和部署的新方法。Dynalize旨在通过在训练期间引入不断变化的惩罚来缓解偏好奖励模型中的奖励黑客行为，在临床咨询和创意写作等领域显示出改进的下游性能。同时，QSelect提供了一种为太空机器人压缩语言模型的方法，通过组合兼容的量化检查点，在严格的内存和存储限制下确保行为保真度。此外，H2DF为可控语言模型遗忘提供了一个校准的目标频带目标，提供了一种比梯度上升更精确的方法来管理遗忘强度并保留效用。Lang…
-
LLM 通过新的潜在推理和 CoT 压缩技术得到增强 · 跟踪 7 个来源
多篇研究论文探索了通过优化大型语言模型 (LLM) 的潜在表示和推理过程来增强其推理能力的新方法。技术包括使用不变度量进行稳定表示（Invariant-Measure Reasoners）、基于 Prolog 的自举思维链（Thought-Like-Pro）以及在潜在空间中进行约束优化以减少过度思考和 token 消耗（Efficient Reasoning via Constrained Optimization in Latent…
-
多模态调优重组LLM身份编码
研究人员调查了多模态指令调优如何影响Transformer语言模型中指定身份提示的几何编码。他们分析了包括Gemma 4 E4B和Qwen2.5-7B-Instruct在内的四种模型，在不同的训练后模式下。研究发现，多模态指令调优导致身份编码方式发生转变，从基础模型中的基于方向的表示转移到调优模型中的基于幅度的表示。这种重组是多模态指令调优特有的，在通过RL蒸馏或标准监督微调训练的模型中未观察到。
-
新的 KV 缓存压缩技术提升大语言模型推理性能 · 跟踪 9 个来源
多篇研究论文探讨了优化大语言模型（LLM）服务中的键值（KV）缓存的新技术，以解决内存和性能瓶颈。这些方法包括量化、剪枝、合并和频率引导压缩，旨在减少内存使用并提高长上下文工作负载的推理速度。研究评估了这些技术在各种基准测试和模型上的表现，强调了压缩率、任务质量和系统性能之间的权衡，并建议根据工作负载选择压缩策略。
-
新研究推进机器人和LLM的策略优化
研究人员引入了几种新方法来增强强化学习中的策略优化，特别是针对涉及机器人和大型语言模型（LLM）的复杂任务。MODIP旨在通过使用世界模型来指导适应，从而高效地微调机器人学习中的扩散策略，与标准的模仿学习相比，提高了稳定性和性能。N-GRPO和T2-GRPO分别侧重于通过采用新颖的嵌入层混合和多视域奖励策略来改进LLM在数学推理和护理代理等任务中的探索和奖励分配。此外，CATPO和GenPO++通过改进基于树的方法和生成策略来提高训练…