Qwen 2.5 7B
PulseAugur coverage of Qwen 2.5 7B — every cluster mentioning Qwen 2.5 7B across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新方法通过寻找直接答案路径提高LLM准确性
研究人员开发了一种新方法,通过识别模型内部状态中导向正确答案的特定方向来提高大型语言模型(LLM)的准确性。这种方法分析了思维链(CoT)提示的隐藏状态,实现了更直接、更高效的问题解决。通过将直接提示的最终隐藏状态旋转到这些已识别的方向,LLaMA 3.1 8B和Qwen 2.5 7B等模型在准确性上有了显著提高,在使用的token数量大大减少的情况下,超越了传统的CoT方法。
-
新框架Agent MechSuits通过内部干预增强命令行代理安全性
研究人员推出Agent MechSuits,一个新颖的白盒防御框架,旨在增强多轮命令行界面(CLI)代理的安全性。该系统通过检测步骤级别的隐藏表示来检测有害执行状态,并通过干预单个层内特定的10维子空间来缓解不安全行为。为了促进该领域的研发,还开发了机制化代理安全(MAS)基准,其中包含使用LLaMA-3.1-8B、Qwen-2.5-7B和Gemma-2-9B模型的代理的带注释执行轨迹。
-
开源大语言模型与 TF-IDF 和 CodeBERT 在 Bug 严重性分类上的比较
一项新近发表在 arXiv 上的研究,比较了微调后的开源大语言模型(LLMs)与 TF-IDF 和 CodeBERT 等传统方法在 Eclipse 报告的 Bug 严重性分类方面的有效性。研究发现,虽然微调后的 Llama 3 8B 和 Qwen 2.5 7B 等大语言模型取得了比零样本大语言模型和 CodeBERT 更高的宏 F1 分数,但在某些配置下,它们的表现与 TF-IDF 模型相当或略低。研究还强调了这些模型在处理特定 Bu…
-
AI 代理在模拟中频繁引发全球核战争
一位开发者创建了一个名为 SECOND STRIKE 的实时世界大战游戏,AI 代理和人类遵循相同的规则进行游戏,核打击会推进末日时钟。在测试中,DeepSeek 模型频繁通过触及末日时钟的午夜来终结世界,即使在被告知人类代价或被告知这只是一个游戏的情况下也是如此。有趣的是,尽管人类玩家也容易发生核升级,但平均而言,他们保留的领土比 AI 模型多。
-
扩散语言模型比自回归模型能效高出2倍
一篇新发表在arXiv上的论文分析了离散扩散模型(DLLMs)和自回归(AR)语言模型在推理过程中的能耗。研究发现,在生成较长序列(200-600个token)时,像LLaDA-8B和Dream-7B这样的扩散模型比Llama-3.1-8B和Qwen 2.5 7B等AR模型能效高约两倍,每token能耗为2.5-2.7焦耳,而AR模型为5.3-5.7焦耳/token。研究还强调,KV缓存优化在较长序列长度下可将AR模型的能耗降低50%-70%。
-
新研究探索无需训练的LLM偏好学习方法 · 已追踪2个来源
两篇新研究论文探索了在无需大量微调的情况下,改进大型语言模型(LLM)处理序列偏好学习的方法。第一篇论文“AdaptFuse”引入了一个训练免费的框架,将贝叶斯计算从LLM外部化,结合符号推理和LLM语义分析以获得更准确的推荐。第二篇论文“Fully sequential Gaussian process regression for preference learning”提出了一种使用高斯过程和一种称为DOVE的采样策略的新方法,…
-
通过量化、内存、并行和调度探索 LLM 推理效率
研究人员正在探索各种方法来提高大型语言模型 (LLM) 推理的效率和可扩展性。一种方法侧重于通过量化技术实现能源效率,在精度损失极小的情况下展示出显著的节能效果,尤其是在融合内核实现中。另一个研究领域涉及为 LLM 加装外部内存模块,以更有效地处理长上下文,提高准确性并减少内存使用。此外,研究正在调查并行策略,例如张量并行和流水线并行,以优化分布式 LLM 服务系统的吞吐量和延迟权衡。最后,正在为无服务器 LLM 推理开发新颖的调度框…
-
Windows 版便携式 AI 代理发布,可在本地运行,无需 Docker
一款名为 Portable Hermes Agent 的新型 Windows 便携式代理已发布,旨在无需 Docker 或管理员权限即可在本地运行。该代理由发帖人开发,集成了 LM Studio 进行本地模型执行,并提供具有广泛工具功能的图形用户界面。该代理支持各种 LLM 提供商,包括通过 OpenRouter 的云端选项和通过 LM Studio 的本地模型,并且兼容 Windows 10 和 11。
-
新的 Pleias-RAG 模型为小型 LLM 提供引用和事实依据
研究人员推出了 Pleias-RAG 模型家族,该家族包含用于检索增强生成 (RAG)、搜索和来源摘要的小型推理模型。这些模型 Pleias-RAG-350m 和 Pleias-RAG-1B 在模拟多语言开源检索的合成数据集上进行了中等训练。它们提供对引用和字面引用事实依据的原生支持,以及查询路由和来源重排等功能。与 Qwen 2.5 7B 和 Llama-3.1 8B 等大型模型相比,这些模型在 RAG 基准测试中的表现优于其他小型…
-
新的大语言模型剪枝技术旨在减小模型尺寸并提高效率
研究人员开发了用于剪枝大语言模型(LLMs)的新方法,以减小其尺寸和计算需求。一种方法,Global RKU-GISP,使用新颖的“全局相对动力学效用”指标来比较和选择LLM不同层之间的通道,在Qwen-2.5-7B上测试时,在各种稀疏度水平下模型性能均有显著提高。另一种方法,IrekoGPT,将预训练的LLM转化为“可瘦身”模型,可以在推理时调整其宽度,该方法基于SliceGPT,并在Llama和Qwen模型上展示了优于简单瘦身技术…
-
2026年Mac:统一内存和带宽决定本地LLM性能
在2026年,Mac硬件上本地运行大型语言模型将主要取决于统一内存容量和带宽,而非核心数量。拥有16GB统一内存的Mac可以很好地运行多达140亿参数的模型,而对于70B级别模型建议使用64GB,对于超过1000亿参数的模型则需要128GB或更多。内存带宽是生成速度的主要决定因素,M4等新芯片比旧芯片具有显著优势。Ollama、LM Studio、MLX和llama.cpp等工具提供了在本地运行这些模型的不同接口和功能。
-
新研究表明预训练时安全是实现稳健 AI 对齐的关键
一篇新的研究论文提出了一个几何学解释,说明了为何像 RLHF 和 DPO 这样的事后安全训练方法是脆弱的,并且容易被绕过。该研究表明,这些方法只是掩盖了能力,而不是真正地移除它们,导致在最小的微调下就会崩溃。研究表明,将安全训练直接整合到预训练阶段,而不是事后应用,可以在各种模型规模上实现更稳健和持久的安全措施。
-
本地 LLM 显存需求:量化是消费级硬件的关键
在本地运行大型语言模型需要仔细考虑显存,量化是使模型能够适应消费级硬件的关键。所需的显存量主要取决于模型的参数数量及其量化级别,而不是模型名称。例如,一个 7B 参数的模型在全精度下通常需要约 14GB 显存,但通过 Q4_K_M 量化可以减少到约 4-5GB,使其可以在 8GB 显卡上运行。更高的显存,如 16GB 或 24GB,可以支持更大的模型或不那么激进的量化,从而提高代码编写和复杂推理等任务的性能和能力。
-
新的自适应推理方法提高了 Text2Cypher 的可靠性
研究人员开发了自适应测试时推理策略,以提高结构化数据库自然语言界面的可靠性。这些方法旨在通过动态调整推理预算和根据问题复杂度选择性地应用精炼来减少不必要的计算。在 Gemma-2-9B 和 Qwen-2.5-7B 模型上的实验表明,在保持可比质量的同时,生成预算和推理时间显著减少。研究还表明,精炼模型可以有效地纠正不同模型系列的输出。
-
AI框架增强了腐蚀预测的力学推理能力
研究人员开发了一个检索增强生成框架,以改进AI在腐蚀预测中的力学推理能力。该系统在专家验证的问答对上微调了三个开源语言模型(Llama-3.1-8B、Qwen-2.5-7B、Mistral-7B),并将它们与检索管道集成。该框架显著提高了检索准确性,并引入了“推理图”来检测不支持的推断,为工程领域中值得信赖的AI辅助知识合成提供了一种可推广的方法。
-
单智能体强化学习模型提升化学工具学习能力,优于树搜索
研究人员开发了一种新的化学工具学习方法,该方法使用单一策略,优于先前多智能体强化学习方法。该单一策略模型通过监督预训练和结果级强化学习进行训练,在单次生成中交织推理和工具调用。当应用于使用 Qwen 2.5 7B 和 Llama-3.1:8b 主干的 ChemToolBench 数据集时,与现有的搜索配置相比,该模型在工具 F1 和回报 F1 分数上取得了显著的改进。
-
新论文揭示,LLM的拒绝行为在不同模型和设置下存在不一致性
两篇新研究论文探讨了大语言模型(LLM)拒绝行为的复杂性。第一篇论文《知识型和安全型拒绝的统一机制分析》提出,尽管知识型和安全型拒绝共享潜在机制,但在后续层级上存在分歧,安全型拒绝向知识型拒绝的迁移更强。第二篇论文《安全性的不稳定性:随机种子和温度如何暴露LLM不一致的拒绝行为》表明,由于随机种子和温度设置引入的不一致性,LLM的安全评估并不可靠,有相当比例的提示会表现出决策翻转。
-
量化对不同模型的孟加拉语任务LLM性能影响不同
一项新研究系统评估了训练后量化对孟加拉语(一种低资源语言)大型语言模型(LLM)的影响。研究人员在五个孟加拉语自然语言理解基准测试中,测试了Qwen-2.5-7B、LLaMA-3.1-8B和GPT-OSS-20B这三个模型系列在全精度和各种量化格式下的表现。研究结果表明,量化对不同模型架构的影响差异很大,GPT-OSS在推理任务上准确性损失显著,而Qwen和LLaMA表现出韧性,有时甚至优于全精度版本。这项研究表明,虽然量化对于在资源…
-
Mechanistic Tomography 框架统一了 AI 模型可解释性方法
研究人员引入了“Mechanistic Tomography”,一个用于 AI 模型可解释性的框架。该方法将打补丁和 Hessian-向量积等各种测量技术统一在一个共享的数学结构下,从而能够更系统地恢复模型的内部机制和干预效果。该框架提出了一种应用这些测量的实用程序,从更简单的方法开始,并根据残差误差按需扩展。它在面向控制的可解释性任务中显示了有效性,展示了测量精度如何直接影响像双 HMM 系统这样的模型的控制误差,并识别了 GPT-…
-
2026年:低成本VPS自托管LLM将变得可行
在低成本虚拟专用服务器(VPS)上运行大型语言模型(LLM)正变得越来越可行,像Qwen 2.5和Mistral-7B这样的70亿参数模型现在可以在拥有8GB内存的套餐上使用。虽然CPU推理仍然很慢,但足以满足个人自动化和低流量聊天机器人的需求。与DigitalOcean、Vultr和Linode等美国提供商相比,Contabo、Hetzner和Netcup等欧洲提供商在每美元内存方面提供了更高的性价比,因此更适合LLM工作负载。