Qwen-2.5 14B
PulseAugur coverage of Qwen-2.5 14B — every cluster mentioning Qwen-2.5 14B across labs, papers, and developer communities, ranked by signal.
-
新的LLM微调方法旨在实现性能与碳排放的盈亏平衡
研究人员开发了一种新的微调方法,该方法包含一个可微分的能量代理模型,用于优化大型语言模型(LLM)的性能和碳排放。该方法旨在在推理过程中以最小或零碳成本实现任务准确性,而推理是LLM整体碳足迹的主要贡献者。在Gemma-2 2B、Llama-3.1 8B和Qwen-2.5 14B模型上针对特定MMLU科目进行的实验表明,碳感知微调充当了任务相关的正则化器,其有效性因任务结构而异。
-
LLMVisor模型改进了多租户LLM服务的延迟归因
研究人员开发了LLMVisor,这是一种新颖的延迟归因模型,专为多租户LLM服务环境设计。该模型能够实时准确地将延迟归因于单个请求,即使请求在GPU集群上进行联合批处理。LLMVisor在调度循环内高效运行,能够捕获推理过程中的内存密集型和计算密集型阶段。
-
新研究揭示了大型语言模型中的“反向”转向向量
研究人员在转向向量(SVs)中发现了一种“反向检测-控制现象”,SVs是一种用于影响大型语言模型输出的技术。当具有高度辨别力的SV,本意是促进特定概念时,实际上会导致模型表现出相反的行为。该研究提出了一种在无需生成响应的情况下区分这些“反向转向向量”(ISVs)的方法,从而能够进行有针对性的符号翻转以改进转向流程。该方法在不同模型和概念的30项实验中的27项中均显示出改进。
-
2026年本地大模型最佳入门级GPU:RTX 4060 Ti 16GB领衔
对于希望在2026年以较低预算在本地运行大型语言模型的用户来说,GeForce RTX 4060 Ti 16GB因其16GB显存而备受推荐,可以轻松处理流行的7B和13B模型。对于更具预算意识的选择,GeForce RTX 3060 12GB是一个强有力的竞争者,以较低的价格提供了7B模型的良好性能,以及部分13B模型的可接受性能。对于预算更充足、追求最大显存的用户,二手GeForce RTX 3090提供24GB内存,可运行更大的34B模型。
-
Python 库 freeaiagent 为应用程序集中式集成 LLM
一个名为 freeaiagent 的新 Python 库简化了将大型语言模型集成到应用程序中的过程。它充当本地 HTTP 服务,允许 Flask、Django 或 CLI 工具等各种应用程序连接到单个 AI 后端。这种方法集中了模型选择、上下文管理和工具调用等问题,消除了每个应用程序单独处理这些复杂性的需要。该库支持通过 llamafile 的本地模型和 Ollama、Groq 和 Gemini 等云提供商,并内置了用于增强可靠性的回退机制。
-
研究发现:大型语言模型角色扮演会改变陈述,而非核心信念
一篇新的研究论文探讨了大型语言模型在扮演不同角色时是否会内化信念。研究发现,虽然模型可以采纳角色并改变其陈述,但这种角色扮演对其底层真实性内部表征的影响有限。这与接受有害建议训练的模型形成对比,后者在其内部表征中显示出更大的转变,并倾向于为虚假声明辩护。
-
LLMs 在土耳其成语分类中表现出提示敏感性
研究人员调查了上下文学习在土耳其成语轻动词结构(LVCs)分类中的有效性。他们将监督式BERTurk基线与使用零样本、单样本和少样本提示的指令微调大型语言模型(LLMs)进行了比较。虽然LLMs在零样本LVC召回率方面遇到困难,但精心设计的演示的少样本提示提高了性能,其中GPT-OSS-20B和Qwen 2.5-14B表现出稳健的结果,与监督基线相当或超过了它。
-
RTX 5070 Ti 对比 RTX 3090:本地 LLM 的显存 vs. 新技术
对全新 NVIDIA RTX 5070 Ti 和二手 RTX 3090 在本地运行大型语言模型 (LLM) 的比较显示,两者各有优势。价格为 750 美元的 RTX 5070 Ti 配备 16GB GDDR7 显存和更新的架构,适合运行高达 13B 参数的小型模型和通用计算任务。价格约为 600 美元的二手 RTX 3090 提供更大的 24GB GDDR6X 显存,这对于运行 34B 参数等大型模型至关重要,并且为构建多 GPU 设…
-
LLM 指纹识别方法揭示华为模型可能源自 Qwen-2.5
研究人员开发了一种新颖的方法,通过分析其注意力参数矩阵的标准差分布来识别大型语言模型(LLM)的指纹。该技术创建了一个独特的签名,即使在大量继续训练后也能保持稳定,从而能够可靠地识别模型的来源并检测版权侵权。研究发现的证据表明,华为的 Pangu Pro MoE 模型可能通过升级再造(upcycling)源自 Qwen-2.5 14B,这表明可能存在模型抄袭。