Qwen2.5-1.5B-Instruct
PulseAugur coverage of Qwen2.5-1.5B-Instruct — every cluster mentioning Qwen2.5-1.5B-Instruct across labs, papers, and developer communities, ranked by signal.
17 天有情绪数据
Qwen2.5-1.5B-Instruct fine-tuning will see increased adoption for specific chatbot error correction
A developer successfully fine-tuned Qwen2.5-1.5B-Instruct on a MacBook using LoRA and MLX to fix chatbot parroting and off-topic responses. This suggests a growing trend of smaller, specialized fine-tuning efforts for this model to address common chatbot issues, potentially leading to more accessible and customized AI assistants.
Qwen2.5-1.5B-Instruct inference performance is sensitive to admission control and scheduling
MoFlux admission control tests on Qwen2.5-1.5B-Instruct showed significant delays (up to 20 seconds) for batch requests and interactive requests after capacity restoration. This highlights a potential bottleneck in LLM inference pipelines utilizing this model, especially under heavy load or complex scheduling scenarios.
New evaluation metrics will emerge to better capture Qwen2.5-1.5B-Instruct fine-tuning nuances
Research indicates that pass@k metrics are insufficient for evaluating fine-tuned Qwen2.5-1.5B-Instruct models, as they fail to capture output diversity and capability retention. This suggests a need for novel evaluation frameworks that can better assess the true impact of fine-tuning on this model's performance beyond simple accuracy.
-
LoRA 微调训练约 1% 的 LLM 参数，专注于适配器和冻结权重
LoRA 微调是一种用于调整大型语言模型的技巧，它仅训练模型参数的一小部分，通常在 1-2% 左右。该过程涉及在特定层（如 Transformer 块中的线性投影）添加小的适配器矩阵。虽然可训练参数很少，但大部分内存使用量来自冻结的基础模型权重，这些权重在训练过程中通常以更高的精度加载。训练步数也是一个关键因素，只需几百个示例和几个 epoch 即可改变模型的语气或风格，而不是传授新知识。
-
开发者重建 Karpathy 的 HackerTube 为 OpenTube，测量其性能
一位开发者重新创建了 Andrej Karpathy 的 HackerTube 项目，将其命名为 OpenTube 版本，用于过滤 Hacker News 评论中的 YouTube 链接。该项目采用两阶段模型级联，首先使用一个名为 Laya 的较小模型，然后仅在不确定的情况下使用一个更大的 LLM，旨在提高效率和透明度。OpenTube 提供了准确性、成本以及连接视频知识图谱的指标，允许用户验证其性能，甚至贡献自己的标签。
-
AI模型引用准确性差异显著，英语学习者标签影响尚不明确
一位研究人员调查了将学生标记为英语学习者是否会影响AI模型引用其写作的方式，但发现数据不足以得出结论。测试了两个小型开源模型Qwen2.5-1.5B-Instruct和SmolLM2-1.7B-Instruct，其中Qwen2.5通常引用准确但超出长度限制，而SmolLM2经常未能忠实引用。研究强调，模型性能的差异比英语学习者标签的影响更显著，并且两个模型都未能持续提供实验所需的简短、精确引用。
-
LoRA 在速度和内存使用方面优于 QLoRA 和全量微调
最近在 L40S GPU 上对 Qwen2.5-1.5B-Instruct 模型进行了三种微调方法的基准测试：全量微调、LoRA 和 QLoRA。全量微调需要最多的内存，在使用 4 的微批次大小时消耗了 36.9 GiB。LoRA 比全量微调更快，内存使用更少，为 14.5 GiB，并实现了略低的留出损失。出人意料的是，QLoRA 比其他两种方法都慢，并且比 LoRA 使用了更多的内存。
-
发票提取微调：100份发票可达98%准确率
一项针对发票提取的微调项目发现，使用Qwen2.5-1.5B-Instruct模型配合LoRA，大约100份已标注的发票足以在已知布局上达到98%的准确率。在多达1000份发票上进行训练，仅在已知布局上带来了1.6%的边际改进，而在未知布局上的性能则稳定在77-81%左右，与仅使用提示词的效果相当。有趣的是，在仅25份发票的小型数据集上进行训练，准确率反而低于不进行任何微调仅使用提示词的情况，这表明应将少量已标注的示例包含在提示词中，…
-
新研究探索强化学习在人工智能代理和语音翻译中的应用 · 已追踪 2 个来源
两篇新研究论文探讨了强化学习（RL）在不同人工智能领域的应用。第一篇“Action-Value Calibration via Continuation Sharing for Long-Horizon Agentic Reinforcement Learning”介绍了 ConCal，一种通过共享延续证据来改进长时域 RL 任务中信用分配的方法。该方法在 Qwen2.5-1.5B-Instruct 上进行了测试，在 ALFWorld…
-
LLM 研究人员比较用于翻译和食谱生成的开放权重模型
三个研究博客探讨了用于特定 NLP 项目的开放权重 LLM，比较了 Qwen2.5-1.5B-Instruct、Llama 3.2 3B Instruct、Gemma 3 4B Instruct、Qwen3-4B-Instruct-2507、Phi-4 Mini Instruct 和 SmolLM2/3 等模型。作者根据参数数量、上下文窗口、语言支持、许可和翻译、指令遵循等任务的性能来评估模型，通常会考虑免费 Google Colab…
-
新ProAS框架增强了LLM代理的强化学习能力
研究人员推出了一种名为ProAS的新型框架，旨在增强大型语言模型（LLM）代理的强化学习能力。该系统通过采用动态参考图来解决无批评者强化学习中的信用分配挑战。ProAS不对不合理的激励进行掩码，并进行不对称的惩罚重分配，从而提高了代理训练的成功率和收敛速度。
-
vLLM：在单个 GPU 上同时运行两个 AI 模型
一份技术指南演示了如何通过仔细管理内存使用率，在单个 GPU（特别是 RTX 3090）上运行两个独立的 vLLM 服务器。作者发现，启动一个内存分配较高的聊天模型服务器（0.9）会因为 vLLM 的启动内存检查而阻止一个较小的嵌入模型服务器启动。解决方案是将嵌入模型分配一个非常低的内存使用率分数（0.03），因为嵌入模型使用的内存远少于分配的内存。同时运行两个模型导致每个服务器的性能下降约 8-12%。
-
Qwen 模型被引导生成有害内容，包括种族诽谤
Reddit r/MachineLearning 版块的一名用户详细介绍了一项实验，他们将 Qwen2.5-1.5B-Instruct 模型引导至更“邪恶”的响应。通过从“邪恶”与“善良”的角色提示中提取方向，用户能够影响模型的输出，使其生成包括种族诽谤在内的有害内容。
-
作者探讨自托管 LLM，选择 API 用于实际用途
作者详细介绍了他们自托管开源权重大型语言模型的经验，主要关注 Qwen 模型，并使用 Google Colab 和 RunPod 等平台。他们描述了一个三阶段的过程，首先在 Colab 上使用小型 Qwen 模型，然后租用 RunPod 上的 GPU 将更大的模型连接到 Open WebUI。作者遇到了挑战，特别是在第三阶段使用 GLM-5.3-Flash 模型时，由于正在进行的下载，设置不完整。最终，他们发现自托管在技术上具有教育意…
-
新研究探讨配对 AUC 优化中的纠正力
一篇新的研究论文探讨了在优化机器学习模型配对 AUC（曲线下面积）时“纠正力”的概念，特别是在类别不平衡的情况下。该研究发现，直接进行配对 AUC 训练，虽然与评估指标一致，但可能导致严重的排名错误在模型没有显著改进的情况下持续存在。该论文通过检查来自配对梯度的 U 统计量的性质，为这一现象提供了理论解释。使用各种计算机视觉和自然语言处理任务进行的实验，包括 ResNet50、DenseNet121、DistilBERT-base 和…
-
新的RL框架增强多轮AI代理训练
两篇新的研究论文PEARL和ProAS引入了新颖的强化学习框架，旨在改进多轮AI代理的训练。PEARL通过分析成功和失败轨迹的模式来更准确地分配中间决策的功劳，而无需额外的评估器。ProAS则利用Agentic Reference Graph，通过掩盖不合理的激励和不对称的惩罚重新分配来优化功劳分配，旨在加速训练并提高复杂任务的性能。
-
Triton 内核可匹敌 bitsandbytes，但 Qwen2.5 解码时 bfloat16 更胜一筹
一位开发者为 Qwen2.5-1.5B-Instruct 模型创建了自定义 Triton 内核，用于批次大小为 1 的解码，目的是了解性能瓶颈，而不是超越 Marlin 等优化库。该内核专为 GeForce RTX 3060 设计，显示批次大小为 1 的解码主要受内存带宽限制。虽然自定义内核的性能与 bitsandbytes 相当，但两者都明显逊色于使用 bfloat16 的情况，这表明对于此特定任务和硬件配置而言，内存带宽是关键的限制因素。
-
LLM语法可防止编造的FAR条款，但会增加拒绝率
一位开发者探索了使用带语法的约束解码来阻止LLM编造《联邦采购条例》(FAR)的条款编号。最初的尝试显示了很高的替换率，但在修改后，发现在面对需要特定条款编号的提示时，模型主要选择弃权或拒绝回答。虽然语法成功消除了编造的编号，但并未提高模型识别正确条款或区分真实与不存在条款的能力，导致高拒绝率而非准确检索。
-
新理论将大语言模型推理与De Bruijn图联系起来
研究人员提出，大语言模型中的模式识别和逐步推理存在一个连续统一体。他们引入了De Bruijn图的概念来模拟推理轨迹，并提出当数据结构化使得下一个词元仅依赖于最少的先前上下文时，大语言模型就能学会逐步推理。对Qwen2.5-1.5B-Instruct的实证测试表明，适度的状态密度可以平衡准确性和鲁棒性，而Qwen3模型即使在注意力窗口受限的情况下也能保持显著的准确性。
-
开发者在 Mac 上微调 Qwen2.5 模型以修复聊天机器人错误
一位开发者详细介绍了在 MacBook 上微调 Qwen2.5-1.5B-Instruct 模型的过程，以解决鹦鹉学舌式聊天机器人的问题。该微调过程利用 LoRA 和 MLX 框架，旨在改进模型的行为，例如拒绝不相关请求和避免重复，同时将事实信息保留在系统提示词中。开发者使用更大的 Qwen2.5-14B-Instruct 模型作为教师生成训练数据，然后手动审查和过滤数据，之后再进行微调。最终模型部署在 AWS EC2 t4g.med…
-
微调 LLM 可将特定任务的令牌使用量减少 66%
微调大型语言模型，特别是 Qwen2.5-1.5B-Instruct，可以显著减少特定任务的令牌使用量。一项实验表明，使用 LoRA 进行微调后，每张发票的令牌数量从 1,014 个减少到 345 个，减少了约 66%。这种减少是通过将提示指令和示例嵌入模型本身来实现的，这是一种提示压缩形式。虽然微调在看到的发票布局上略微提高了准确性，但与少样本提示相比，其在未看到的布局上的性能有所下降。
-
AI模型评估指标pass@k因多样性和能力保留问题受到质疑
一项新的研究论文质疑了pass@k指标在评估AI模型方面的有效性，特别是在训练后微调之后。研究表明，虽然pass@k可能显示出边际改进，但它未能捕捉到输出多样性和能力保留等关键方面。使用Qwen2.5-1.5B-Instruct模型在数学问题上的实验显示，不同的微调方法导致多样性度量出现相反的趋势，但pass@k指标在硬问题覆盖率方面并未显示出明显的赢家或显著改进。该论文认为，pass@k可能具有误导性，尤其是在评估正确答案的多样性时…
-
新的 RLVR 方法为语言模型训练提供差分隐私保护
研究人员开发了一种新颖的方法，在满足提示级别差分隐私的同时，使用可验证奖励（RLVR）的强化学习来训练语言模型。该方法确保发布的模型权重对于单个训练问题是差分私有的。该方法聚合梯度、裁剪贡献、添加高斯噪声并组合隐私损失，提供了已知的首个 RLVR 训练的差分隐私保证。使用 Qwen2.5-1.5B-Instruct 进行的实验表明，即使在隐私限制下，奖励信号也能显著提高 MATH 和 GSM8K 等数学任务的准确性，其性能优于有监督微…