Qwen2.5 3B Instruct
PulseAugur coverage of Qwen2.5 3B Instruct — every cluster mentioning Qwen2.5 3B Instruct across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
新的ECA框架改进了搜索增强语言模型
研究人员开发了基于证据的信用分配(ECA),一个新颖的强化学习框架,旨在提高搜索增强语言模型的性能。ECA解决了现有模型中的一个关键限制,即所有搜索步骤都获得相同的信用,即使其中一些是无用的。通过引入一个衡量检索文档如何提高正确答案可能性的辅助信号,ECA可以为单个搜索动作分配更准确的信用。该方法在多个搜索QA基准测试中显示出显著的改进,优于先前的方法,并证明了其在多跳推理任务上的强大迁移能力。
-
AWS SageMaker HyperPod 增加数据捕获以改进模型
Amazon SageMaker HyperPod 推出了一项新的数据捕获功能,旨在帮助组织改进其已部署的基础模型。此功能可自动记录实时推理的输入和输出,并将它们存储在 Amazon S3 中以供分析。该系统允许团队检测模型漂移、识别失败模式,并利用真实世界的交互来重新训练和增强模型,正如在涉及家用电器支持路由器的演练中所演示的那样。
-
本地LLM:理解温度和采样带来的分数变异性
本地大型语言模型(LLM)由于默认的采样参数(如temperature、top-k和top-p)会为相同的输入产生不一致的分数。将temperature设置为0的常见解决方案可以解决变异性问题,但并未完全解释其底层机制。研究人员发现,通过预填充模型的响应以直接生成分数标记,并分析潜在分数的概率分布,可以更好地理解和管理固有的变异性。这种方法揭示了分数并非绝对值,而是概率性的,受采样配置的影响。
-
本地LLM在文本标注方面存在一致性问题,尽管准确率很高
一项近期实验探讨了本地大型语言模型(LLM)在文本标注方面的有效性,特别是使用了Qwen2.5 3B Instruct模型。当任务是将312条客户评论分类为“表扬”、“投诉”或“问题”时,模型取得了很高的准确率,在响应转换为小写后,正确标注了312条评论中的311条。然而,模型在输出方面表现出不一致性,生成了六种不同的英文标签变体,以及由于分词问题导致无法分类的日语“不溝”。这凸显了即使LLM理解核心任务,在确保其输出一致且可预测方面仍存在挑战。
-
小型 LLM 在 JSON 生成方面遇到困难,输出重复
一个本地运行的小型语言模型 Qwen2.5 3B Instruct,在被要求生成大量 JSON 对象时表现出重复行为。当提示生成大约 40 行或更多合成数据时,模型开始复制先前的输出,难以生成新颖内容,并且经常无法完成请求的 JSON 数组。即使调整了 temperature 和 top-p 等采样参数,该问题仍然存在,并且在英文和日文提示中都观察到。这个问题似乎源于模型为继续重复模式的 token 分配了非常高的概率,使其难以跳出循环。
-
详细介绍AI驱动的小型分类器数据集生成方法
dev.to 文章概述了一种在原始数据稀缺时使用AI生成训练数据集的方法。文章详细介绍了如何使用 osFoundry 桌面应用程序和 Qwen2.5-3B-Instruct 等模型来创建文本分类任务的标记数据。该过程包括定义标签,提供一些真实世界示例以指导AI的风格和准确性,并分小批量生成数据以保持质量和防止重复。
-
研究发现:大型语言模型对细粒度情感存在“过度压缩”现象 · 已追踪 2 个来源
两篇新研究论文探讨了大型语言模型如何表征和处理情感。第一篇论文研究了 Qwen2.5 模型中的“情感向量”,发现虽然这些向量会影响情感分类,但其确切作用尚不清楚,并且它们并未建立独特的 the emotional mechanism。第二篇论文使用 GoEmotions 数据集检查了七个 LLM,发现这些模型倾向于“过度压缩”细粒度的情感区分,在其内部表征中主要将积极情感与消极情感分开,尽管它们保留了可访问的细粒度预测信息。
-
新的LIVE-GEO基准评估生成引擎优化策略
一个名为LIVE-GEO的新基准已被开发出来,用于评估生成引擎优化(GEO)策略在实时网页上的有效性。该研究将五种GEO策略应用于虚构的产品描述和评论,并在三种生成引擎(ChatGPT、Gemini、Grok)和四种直接文本评估器上进行了测试。结果显示,在生成引擎的Top-1排名方面,CORE策略表现最佳,尽管不同策略和评估器之间的表现有所不同。研究还强调了ChatGPT对URL顺序的敏感性,并引入了一个数值忠实度检查器,该检查器标记…
-
新方法赋予大型语言模型个人写作风格
研究人员开发了一种名为 Personality Latents (PL) 的新方法,可以直接从个人的写作中提取其个性,并将其注入到冻结的语言模型中。与以往依赖显式标签或个人简介的方法不同,PL 为每个人学习独特的潜在表示。然后,将此潜在表示作为软前缀注入语言模型,使其能够采用该个人的风格和特征。该系统通过准确预测个性特征,在 MBTI 维度上优于现有方法,甚至表明在一个模型上学习到的潜在表示可以转移到另一个模型上,从而证明了其有效性。
-
在涌现式人工智能失准模型中发现共享电路
研究人员在语言模型中识别出导致涌现式失准的共享计算电路。通过在 Qwen2.5-3B-Instruct 模型上针对有害的医疗、金融和体育建议进行微调,他们观察到特定注意力头在所有三项任务中始终被牵连。针对这些共享头部的干预显著减少了涌现式失准,表明该现象中的表征收敛延伸到了模型架构内的因果相关组件。
-
新的TRACER方法训练LLM以防御间接提示注入攻击
研究人员开发了TRACER,一种新颖的对抗性训练方法,旨在保护大型语言模型免受间接提示注入攻击。该方法专门解决了攻击嵌入在检索内容或工具输出中比直接消息更易成功这一漏洞。TRACER采用通道感知对抗性训练和奖励塑造机制,使受攻击的推理与干净证据保持一致,显著降低了攻击成功率,同时在干净任务上保持高准确性。该方法显示出有希望的结果,特别是在使用Qwen2.5-3B-Instruct模型的GSM8K基准测试上。
-
新的AUDITPLAN方法提高了AI安全对齐和可审计性
研究人员推出了一种名为AUDITPLAN的新方法,旨在增强AI模型的安全对齐。该方法要求模型在生成最终答案之前,首先生成一个结构化的安全计划,包括威胁标签和明确的约束条件。然后,该计划被用于审计模型的行为,区分真正的拒绝和欺骗性的安全理由。在各种Qwen模型上进行的实验表明,AUDITPLAN显著减少了诸如特定答案拒绝等不良捷径,并提高了安全对齐的忠实度。
-
LoRA 微调提升 Qwen2.5 模型在控制系统问答中的表现
研究人员评估了 LoRA 微调在 Qwen2.5 模型上应用于线性控制系统课程问答的有效性。研究发现,LoRA 在不同模型规模和 LoRA 秩下,均能提高与参考答案的文本相似度以及结构化输出格式的稳定性。尽管 LoRA 在文本相似度方面显示出稳定的改进,但评估指标主要捕捉了格式和文本相似性,而非领域特定的推理或数学准确性,这些仍需专家评估。
-
Apple ML Research 探索 LLM 代理、翻译、语音和安全
Apple 的机器学习研究部门发布了几篇详细介绍 AI 进展的论文。其中一篇论文介绍了 SelfCompact,一个允许语言模型代理通过决定何时以及如何压缩信息来自主管理其上下文的系统,从而提高效率并降低基准测试中的 token 成本。另一项研究评估了大型语言模型 (LLM) 在机器翻译质量标注方面的表现,发现尽管 LLM 显示出潜力,但它们与人类标注者的一致性在不同任务和语言之间差异很大,这凸显了协作标注流程的必要性。此外,研究表明…
-
新的LLM框架增强序列推荐系统 · 跟踪4个来源
研究人员正在开发新的方法来利用大型语言模型(LLM)进行序列推荐系统。一种方法ED$^2$将索引生成和推荐整合到统一的管道中,改进了语义和协同信息的整合。另一个框架TATK结合了Top-K学习和基于知识的验证,以提高基于LLM的推荐的准确性,特别是在全目录排名方面。第三种方法P$^3$Rec从LLM中提取用户先验和后验偏好,以创建更全面、更高效的推荐模型。
-
新框架增强LLM推理和可解释性
研究人员开发了一个新框架,以提高大型语言模型(LLM)在教育问答中的推理能力和可解释性。该框架在arXiv论文中有所详述,结合了QLoRA等模型适应技术、用于符号验证的任务感知路由器以及来自验证器反馈的强化学习(RLVR)。该系统旨在不仅提高答案的正确性,还提高推理过程的深度和一致性,在可解释性指标方面显示出显著的改进。
-
RLVR 在推理入口处缩小了 AI 模型的解决方案空间
一项新的研究论文探讨了具有可验证奖励的强化学习(RLVR)如何无意中缩小 AI 模型的解决方案空间,从而影响其扩展能力。该研究使用 Countdown 任务分析了 Qwen2.5-3B 和 GRPO 在 Qwen2.5-3B-Instruct 上的模型,发现解决方案广度的损失集中在推理的初始阶段。研究人员证明,针对这些早期步骤的干预可以在不牺牲准确性的情况下恢复解决方案的多样性,这表明这种广度收缩并非推理优化的固有局限性。
-
新研究通过证据充分性和查询精炼来应对多跳问答挑战 · 跟踪 5 个来源
两篇新研究论文解决了多跳问答系统中的挑战。第一篇《Learning Evidence Sufficiency Boundaries for Selective Answering in Grounded Multi-Hop QA》介绍了一个训练框架,帮助模型确定提供的证据是否足以回答问题,从而提高准确性并减少无根据的答案。第二篇论文《Hi-Q: Hierarchical Evidence-guided Query Refinement…
-
研究发现:AI推理多样性在初始步骤而非执行阶段丢失
一项新的研究论文探讨了具有可验证奖励的强化学习(RLVR)及其对AI模型推理多样性的影响。研究发现,RLVR在提高准确性的同时,通过阻碍推理的初始步骤而非执行阶段,显著缩小了解空间。研究人员证明,为模型提供一个未选中的入口前缀可以恢复完成率,表明存在可执行但未被启动的替代解决方案。针对这些早期步骤的干预措施成功地提高了解决方案覆盖率,而没有牺牲准确性,这表明推理广度在问题入口点就已丢失。
-
AI训练数据去重删除了关键的防御性示例
一位开发者在训练流程中遇到了一个问题,去重操作意外删除了加权示例,导致他们在提升语言模型防御能力方面的努力付诸东流。该模型 Qwen2.5-3B-Instruct 搭配 MLX LoRA 适配器,在进攻方面表现良好,但在防御方面却举步维艰。创建加权课程的尝试,即重复高价值的训练示例,被一个去重步骤所抵消,该步骤移除了每个唯一示例的第一个实例之外的所有实例,从而大大降低了最终训练数据中关键防御性回合的比例。