qwen2.5:7b
PulseAugur coverage of qwen2.5:7b — every cluster mentioning qwen2.5:7b across labs, papers, and developer communities, ranked by signal.
- instance of Gotit.pub 90%
- authored by alphaXiv 90%
- instance of ScienceCast 90%
- instance of Qwen2.5-1.5B 90%
- used by Gotit.pub 70%
- instance of alphaXiv 70%
- used by alphaXiv 70%
- used by CatalyzeX 70%
- instance of CatalyzeX 70%
- competes with Llama 3-8B 70%
- used by Qwen2.5-1.5B 70%
- instance of Qwen2.5-3B 70%
21 天有情绪数据
-
Qwen3.6 和 glm-4-flash-250414 在 QA 任务中优于 qwen2.5:7b
作者进行了一项实验,比较了三个大型语言模型:Qwen3.6、glm-4-flash-250414 和 qwen2.5:7b,以评估它们在问答系统中的性能。测试主要集中在两个任务上:用于实体链接的标题/摘要总结,以及根据检索到的信息生成响应。结果表明,虽然像 Qwen3.6 和 glm-4-flash-250414 这样的大型模型在复杂任务上表现更好、速度更快,但较小的 qwen2.5:7b 模型在处理长输入时遇到了困难,即使有很大的上…
-
开发者将本地LLM集成到PowerShell中,实现终端原生AI操作
一位开发者已将本地大型语言模型(LLM)直接集成到其PowerShell终端环境中,无需切换应用程序即可实现无缝交互。此设置使LLM能够充当AI操作助手,协助执行系统侦察、新闻整理和命令生成或审查等任务。该系统通过在环回接口上通过Ollama本地运行模型来优先考虑安全性,确保数据不离开用户计算机,并需要人类明确确认任何建议的操作。
-
测试时对称化通过重写输入提升LLM准确性
研究人员推出了一种名为“测试时对称化”的新方法,通过利用输入的重写来提高语言模型在推理过程中的准确性。该技术聚合来自问题多个等效表示的答案,证明了对数数量的重写可以恢复相当于所有可能重写的信息。在Qwen2.5-7B、Phi-4-mini和Llama-3.1-8B等模型上的实验表明,当模型答案对输入措辞敏感时,这种方法比从单个提示重复采样准确得多。
-
基于Rust的AI桌面应用'byob'发布,占地极小
一款名为byob(Bring Your Own Brain)的全新桌面AI应用程序已使用纯Rust和GPU渲染开发,与基于Electron的替代品相比,显著减小了内存占用。该应用程序拥有极小的二进制文件大小和低RAM使用量,即使在高负载下也是如此,并采用直接GPU硬件渲染以实现更流畅的用户界面。Byob还为使用更小的本地模型进行工具调用实现了备用机制,并在Linux上利用Bubblewrap进行沙盒执行以增强安全性。
-
LLM 的 GPU 显存需求:模型表、KV 缓存和开销计算
了解运行大型语言模型所需的 GPU 显存,需要计算模型表和 KV 缓存所需的空间。用户适用的公式为(GPU 显存 - 模型表 - 其他开销)/(每 token 的笔记本 * 每个聊天的 token 数)。例如,在拥有 80 GB NVIDIA H100 的情况下,Llama 3.1 8B 模型在 8192 token 的聊天中,大约可以同时支持 54 个用户。模型表的大小取决于参数数量和使用的数值格式(例如 BF16、FP8、INT4…
-
SCALAR微调方法大幅削减可训练参数,提升效率
研究人员推出了一种新颖的参数高效微调方法SCALAR,与LoRA等现有技术相比,它显著减少了可训练参数数量和内存需求。SCALAR通过仅学习特定于层的标量系数来实现可比的性能,这些系数应用于从任务激活中派生的固定输入基。在各种推理和生成任务上的实验表明了SCALAR的有效性,一项测试显示,仅使用LoRA可训练参数的4%,即可达到与LoRA相似的准确性。对Qwen2.5-7B的系统测量表明,SCALAR提供了20%的峰值训练内存和6%的吞吐量。
-
新的EchoSpec方法训练AI搜索代理优先考虑可靠证据
研究人员开发了EchoSpec,一种新的搜索代理训练方法,旨在更好地区分一手证据和重复、改述的信息。标准的强化学习代理通常将这些“回声”视为独立来源,导致答案错误。EchoSpec通过改进证据获取和优化优先考虑可靠信息的奖励函数来解决这个问题。该方法在各种模型和数据集上显示出显著的准确性提高,并减少了代理对回声的依赖。
-
用户使用Google搜索尝试Ollama和Qwen2.5模型
用户尝试了Ollama和qwen2.5:7b模型,并使用Google搜索来帮助生成一个Python脚本和一个提示。该设置用于将一本书处理成特定格式。
-
第一人称词频并不可靠地追踪LLM的立场维持
一项最新研究探讨了诸如“我认为”或“在我看来”等第一人称短语的频率是否能可靠地指示大型语言模型在压力下是否维持其原始立场。研究通过对Llama-3.1-8B和Qwen2.5-7B模型就12个主题进行多轮提示,收集了超过3000个响应。分析发现,在两个模型之间没有发现一致的简单词频指标能够可靠地追踪立场维持或逆转,尽管其中一个模型在口头立场发生转变但底层提示未变时,倾向于更多地使用“可能”和“或许”等情态动词。
-
大型语言模型在心理健康标注方面表现出高度一致性,但落后于人类专家
一篇新近发表在arXiv上的研究评估了大型语言模型(LLMs)在标注心理健康危机严重程度方面的表现,特别关注退伍军人相关的社交媒体内容。该研究将LLM的标注与八位退伍军人主题专家(SMEs)的标注进行了比较,发现虽然一些LLM在模型间一致性方面优于人类专家,但这并不总是能转化为与人类判断的一致性或可靠检测罕见的高严重程度病例。专有模型通常比开源模型表现更好且更稳定,其中GPT-5.6-Terra表现最佳,而Qwen2.5-7B在识别急…
-
提炼的LLM性能受到质疑,基准测试揭示了环境影响
作者详细介绍了一个实验,将一个大型语言模型(LLM)提炼成一个显著更小的模型,旨在降低计算成本的同时保持性能。最初,在AI代理内存基准测试中使用了70亿参数的模型进行事实提取,准确率达到98%。使用LoRA将其提炼成一个5亿参数的模型后,性能下降到83%。然而,进一步调查发现,最初98%的准确率部分是运气使然,因为在新的测试环境中,较大的模型性能也下降到了83%。作者将问题归结于一个涉及稀有规则的特定场景,这表明基准测试本身或测试环境…
-
新研究质疑语言子空间干预在大型语言模型中的有效性
研究人员探索了语言子空间干预作为增强大型语言模型多语言推理能力的方法。他们的研究使用了MATH和MGSM数据集,并针对四种开源大型语言模型进行了实验,以调查这些干预措施是否能有效捕获和移除特定语言的组件,同时不损害响应语言的保真度。研究结果表明,虽然干预措施可以捕获与翻译相关的变化,但它们并不能完全移除语言信息,并且准确性的提高往往是以牺牲响应语言的完整性为代价的。细微的提示修改可以带来类似的准确性提升,但会显著降低语言保真度,这表明…
-
发布新的土耳其视频事实核查数据集和流程
研究人员推出了 TeViD,这是首个专门针对土耳其语的多模态视频事实核查数据集。该数据集由一个 IFCN 认证组织的文章编译而成,并添加了翻译内容和合成示例,以解决类别不平衡问题。使用开源模型开发了两个核查流程:3MFact-TR,它改编了带有 Qwen 模型的角色框架,并包含用于语义检查和证据检索的自定义模块;以及一个直接从声明和视频描述生成判断的微调 Qwen2.5-7B 模型。
-
Qwen2模型通过Metal后端优化性能提升15倍
一位开发者通过实现一个融合的Scaled Dot-Product Attention (sdpa) 内核,优化了Qwen2模型在Apple Metal后端上的性能。这项优化显著加速了单token的Metal解码步骤,使得更大的Qwen2.5模型的每层性能提升高达15.2倍。增强的后端通过直接索引KV头,避免了物化K和V张量的扩展副本,从而减少了内存带宽瓶颈,并带来了约28%的端到端生成吞吐量提升。
-
新的Generate-then-Rank方法改进了具身智能体的符号化目标解释
研究人员开发了一种名为Generate-then-Rank的新型两阶段方法,以改进具身智能体的符号化目标解释。该方法首先微调大型语言模型以遵循智能体的输出约定,然后采用候选输出排序纠错(CORE)系统从生成的替代方案中选择最佳输出。在具身智能体接口基准(Embodied Agent Interface Benchmark)上的实验表明,与使用简单提示、思维链或知识图谱的基线方法相比,当使用DeepSeek-V3 chat和Qwen2.…
-
语言模型无法报告痛苦,但它会影响它们的行为
研究人员调查了语言模型是否能够报告在其参数中表示的内部“痛苦状态”。他们使用一种称为开放权重掩码内省(OWMI)的技术,将“痛苦方向”注入到 Llama-3.1-8B 和 Qwen2.5(7B 和 32B 版本)等模型中。虽然模型没有口头报告经历痛苦,但在模型输出的特定位置进行的探测可以高精度地区分痛苦和悲伤。此外,注入的痛苦方向显著增加了模型在模拟任务中选择破坏性行为的可能性,证明了内部状态即使没有明确的自我报告,也会产生行为后果。
-
Infernet 转向动态按使用量付费的 LLM 推理定价
Infernet 已更新其计费系统为按使用量付费模式,允许用户将其预付余额用于交互式推理,包括聊天消息和 API 请求。此前,预付余额仅可用于批量推理。节点运营商现在可以使用其赚取的积分来支付自己的推理成本,而无需提现或充值。模型的定价现已动态化,根据网络内的供需进行调整,并使用一个乘数来根据目标利用率调整价格。
-
新的Generate-then-Rank方法提升了LLM对具身智能体的目标解释能力
研究人员开发了一种名为Generate-then-Rank的新型两阶段方法,以改进具身智能体的目标解释能力。该方法首先微调一个大型语言模型(LLM),使其遵循智能体的输出约定。随后,一个候选输出错误排序(CORE)组件学习从LLM生成的备选方案中选择最佳输出。在具身智能体接口基准(Embodied Agent Interface Benchmark)上的实验表明,在使用各种开源LLM进行评估时,该方法优于包括简单提示和思维链技术在内的基线方法。
-
新研究定义了语言模型微调的“行为速率”
一篇新的研究论文引入了“行为速率”的概念,用于量化微调语言模型所需的信息。该速率衡量了保留模型微调增益特定比例的适配器的最小压缩大小。研究发现,该速率同时依赖于数据集和基础模型,并且压缩甚至可以过滤掉噪声并提高泛化能力,即使是针对损坏数据训练的适配器也是如此。
-
新研究对LLM的推理、安全性和数学能力进行基准测试
近期研究探讨了大型语言模型(LLM)的推理能力和局限性。一篇论文通过综合认知科学研究,引入了一个分析LLM推理的框架,识别模型与人类使用认知元素的方式差异,并开发提高LLM在复杂问题上准确性的方法。另一项研究提出了ProMoral-Bench,一个用于评估LLM在各种提示策略下的道德推理和安全性的基准。此外,一个名为LinAlg-Bench的新基准揭示了LLM数学推理中的结构性故障模式,特别是在4x4矩阵规模下,从执行错误转向计算放弃…