Qwen2.5-3B
PulseAugur coverage of Qwen2.5-3B — every cluster mentioning Qwen2.5-3B across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
MemReward 使用图神经网络在有限标签下提升LLM奖励
研究人员开发了MemReward，一个新颖的基于图的框架，旨在改善大型语言模型（LLMs）在标记数据稀缺时的强化学习。该方法使用图神经网络（GNN）将奖励信号从少量标记示例传播到大量未标记数据。实验表明，即使只有20%的数据被标记，MemReward也能达到接近Oracle（完全标记数据）的性能，证明了其在数学、问答和代码生成等各种任务中的有效性。
-
研究量化了移动设备上大语言模型的性能、能耗和隐私权衡
一篇新的研究论文探讨了在移动设备上运行大语言模型时，性能、能耗和隐私权之间的权衡。该研究开发了一个实验流程，在安卓设备上测量这些因素，并测试了八个大语言模型。研究结果表明，模型架构而非量化是能效的关键，混合专家模型在平衡存储和功耗方面显示出潜力。
-
Search-E1 方法通过自我进化简化了代理训练
研究人员推出了一种新颖的搜索增强推理代理的自我进化方法 Search-E1，该方法绕过了复杂的外部监督。该方法结合了 vanilla GRPO 和离线自蒸馏 (OFSD)，使代理能够独立改进。使用 Qwen2.5-3B 模型，该方法在七个 QA 基准测试中取得了 $0.440$ 的平均 EM 分数，优于现有的开源基线。
-
KV cache eviction protection proves more vital than scoring
Researchers have developed a new method for managing KV cache eviction in large language models, finding that structural protection is more critical than scoring algorithms. Their study on transformer models revealed th…
-
开发者使用 SHA-256 优化离线 RAG 知识库更新
一位开发者创建了 GridMind，一个专为低资源环境设计的离线 RAG 助手，以应对高效更新知识库的挑战。该解决方案使用 SHA-256 哈希来为文档打指纹，使系统能够识别并重新嵌入仅更改或新增的文件。此方法显著减少了处理时间，将嵌入时间从几分钟缩短到几秒钟，从而在开发过程中实现更快的迭代。
-
BoostLoRA方法增长适配器秩以超越全量微调
研究人员推出了一种新颖的参数高效微调方法BoostLoRA，旨在增强模型表现力而不增加推理开销。该技术通过迭代训练和合并小型适配器，并将每个适配器分配到正交子空间，从而随着时间的推移增长有效秩。实验表明，BoostLoRA在Qwen2.5-3B的GSM8K和MATH-500等基准测试中取得了最先进的成果，其表现优于超低参数适配器和全量微调。