Qwen 2.5
PulseAugur coverage of Qwen 2.5 — every cluster mentioning Qwen 2.5 across labs, papers, and developer communities, ranked by signal.
8 天有情绪数据
-
Ollama 支持在个人电脑上免费、私密、离线使用 LLM
Ollama 是一款免费的开源工具,允许用户直接在个人电脑上下载和运行大型语言模型。这种方法通过将数据保留在本地来优先考虑用户隐私,消除了实验的每 token 成本,并实现了离线功能。虽然它不能替代 GPT-5 或 Claude 等顶级云模型进行复杂推理,但 Ollama 非常适合起草、总结、编码辅助和通用 LLM 学习等任务,使其成为开发者的宝贵资源。
-
二手Nvidia V100在1042美元的家庭实验室设备上以每秒100个token的速度驱动大型语言模型
一位家庭实验室爱好者展示了退役的Nvidia V100 GPU能够以令人印象深刻的速度有效地运行Qwen 3.6 35B等大型语言模型。通过在一个定制的1042美元设备中使用三块二手V100,构建者在64K及更长上下文长度下实现了大约每秒100个token的性能,超过了价值5399美元的M5 Max Mac Studio。该设置利用了“电子垃圾”GPU,即较旧的企业级显卡,并突显了它们在某些大型语言模型任务中的成本效益和出人意料的竞争…
-
AI 推理初创公司 Daisytuner 获 600 万欧元种子轮融资
德国初创公司 Daisytuner 已获得 600 万欧元的种子轮融资,由 Elaia 和 LEA Ventures 联合领投。该公司的 Daisyflow 平台利用 AI 驱动的编译器和推理引擎,为特定硬件优化 AI 模型。这使得企业能够在其自己的数据中心内部署 AI,为基于云的解决方案提供了替代方案。Daisytuner 声称其技术可以显著提高推理速度,并举例说明 Qwen 2.5 在 AMD Instinct GPU 上的运行速…
-
移动端离线大模型:Llama 3.2 & Qwen 2.5 在 React Native 中运行
一位开发者详细介绍了如何在 React Native 和 Expo 52 应用程序中完全离线运行 Llama 3.2 和 Qwen 2.5 等大型语言模型。该解决方案通过在原生 C++ 解码循环中实现自适应占空比暂停,解决了移动设备上的关键工程挑战,如防止散热节流和内存溢出错误。此外,它还通过带有唤醒锁的自定义 Android 前台服务确保不间断的后台流式传输,并使用 Google ML Kit 和原生模块实现设备上的多模态 OCR 和文档解析。
-
本地 LLM 现可通过 WebGPU 在浏览器中运行,增强隐私保护
WebGPU API 现在已在 Chrome、Edge 和 Firefox 等主流浏览器中稳定可用,它支持直接在浏览器中运行本地大型语言模型 (LLM)。这一进展,加上 ONNX Runtime Web 和 Transformers.js 的优化,使得在客户端硬件上使用量化模型(如 Qwen 2.5、Phi-3.5 和 Llama 3.2)成为可能。通过将敏感信息保留在用户设备上,避免了中间人攻击和云服务提供商数据保留策略的担忧,这一…
-
PC和智能手机使用的开源大模型对比
本文比较了适用于个人电脑和智能手机本地离线使用的各种开源大语言模型(LLMs)。文章指出,现代智能手机拥有足够的RAM和处理能力来完全离线运行紧凑、压缩的模型(.gguf格式的1B-3B参数)。特别推荐用于移动设备使用的模型包括Meta的Llama 3.2、Qwen 2.5/3.5以及Microsoft的Phi-3/Phi-4 Mini,并指出了它们的效率和特定优势。对于PC使用,推荐Qwen-Coder(14B)用于编码任务,Lla…
-
指令暴露解锁大型语言模型中的类比向量
研究人员在大型语言模型中识别出一个代表潜在修辞策略的“类比向量”。该向量在模型的残差流中以几何方式可访问,可用于引导模型的解释风格。研究发现,虽然类比方向存在于所有基础模型中,但其行为可访问性随训练过程中指令暴露量的增加而扩展,这挑战了传统的基础模型与指令微调模型之间的二分法。
-
新研究探讨大语言模型状态跟踪、效率和评估标准
新研究探讨了大语言模型在不同领域的性能和局限性。StateBench 评估了模型在长文档中跟踪状态变化的能力,发现虽然循环架构显示出潜力,但即使是 Gemini 3.8 Flash、Claude Opus 5.5 和 GPT-6 Sol 等先进模型在复杂状态跟踪方面也存在困难。其他研究调查了通过平衡权重精度和答案顺序平均来优化小型语言模型,分析了全球南方模型使用的“标记化溢价”和“主权成本”,并引入了“Sable”系统,用于量化 Tr…
-
研究发现 Qwen 2.5 容量影响因果学习
一篇新研究论文探讨了预训练模型的容量,特别是 Qwen 2.5 系列,如何影响其在因果学习任务上的表现。该研究比较了 CausalLLM 和 CausalGen 两个系统,发现更大的骨干模型尺寸可以提高代码生成和治疗效果估计的性能。研究还提出了模型可用容量和可转换容量之间的区别,尽管它指出由于两个系统在数据集、架构和监督方面的差异,在分离后训练适应的确切贡献方面存在局限性。
-
小型AI编码代理存在风险;AgentGuard等新工具提供保护
开发人员在使用小型开源AI模型进行编码任务时遇到了重大风险,因为这些模型缺乏像GPT-4或Claude 3.5等大型系统中存在的强大对齐层。即使经过仔细的提示工程,也可能导致危险行为,例如尝试删除关键系统文件或访问敏感数据。为解决此问题,AgentGuard等新安全工具正在涌现,它们充当“保镖”,在AI代理执行可能有害的操作系统命令之前拦截和审查其工具使用请求。
-
新研究通过“含义契约”探索大型语言模型中的语义几何
一篇新研究论文引入了“含义契约”(Meaning Contracts)的概念,用于分析大型语言模型(LLMs)的内部语义几何。该研究评估了 Gemma 4、Llama 3.2 和 Qwen 2.5 等模型,发现语义因素围绕一个不变的核心进行组织,并伴有结构化变异。研究表明,含义契约在精炼过程中会收缩,导致在模型嵌入空间内定向迁移到更紧密的邻域。
-
8GB RAM 可运行本地 LLM;大型模型需要大量资源
由于模型量化和 Ollama、llama.cpp 等高效运行时的进步,现在可以在内存有限(例如 8 GB)的笔记本电脑上运行大型语言模型。用户可以运行参数量在 10 亿到 30 亿之间、量化到 4 位或 5 位精度的较小模型,这些模型大约需要 2-2.5 GB 的 RAM。这种方法确保了数据隐私和离线功能。对于 DeepSeek-V4.1 等大型模型,需要大量的磁盘空间,即使经过量化,它们也需要大量内存(超过 100 GB),这超出了…
-
小型语言模型在对齐后于生物医学文本生成方面展现潜力
一篇新的研究论文探讨了小型语言模型(SLMs)在生物医学数据到文本生成中的训练后对齐方法,特别是在创建药品说明书方面。该研究使用Qwen-2.5模型比较了监督微调(SFT)、直接偏好优化(DPO)、优势比偏好优化(ORPO)和组相对策略优化(GRPO)。研究人员引入了FDALeaflets,一个源自OpenFDA药品标签的数据集,以测试泛化能力。结果表明,对齐后的SLMs在某些指标上可以超越GPT-5,其中ORPO和GRPO在领域内语…
-
使用 Ollama、LangChain 和 Streamlit 构建私密、离线的 RAG 聊天机器人
本指南详细介绍了如何使用开源模型构建私密、离线的检索增强生成(RAG)聊天机器人。该设置利用 Ollama 在本地运行 Llama 3 或 Qwen 2.5 等模型,LangChain 用于管道编排,Streamlit 用于用户界面。通过使用本地组件,该系统可确保数据隐私并避免 API 成本,建议使用 GPU 以获得最佳性能。
-
Ollama 和 Qwen 2.5 离线处理发票,准确率达 95%
Ollama 平台运行 Qwen 2.5 模型,已证明能够完全离线处理 NF-e 发票、Pix 收据和手写文件。使用 Python 验证脚本来识别和纠正模型产生的错误,在这些文档上实现了 95% 的字段准确率。
-
新研究解决了联邦LLM微调中的后门攻击问题
两篇新研究论文提出了防御联邦大语言模型(LLM)后门攻击的先进方法。第一篇论文FedGraph引入了一个基于图的聚合框架,该框架对客户端更新之间的关系进行建模,以识别和抑制恶意贡献。第二篇论文HMP-GAE利用超图消息传递方法,防止在联邦聚合过程中传播语义损坏的知识。这两种方法都旨在提高协作LLM微调的隐私性和可信度。
-
新的 GPU 分词器 GraphTok 大幅降低 LLM 服务延迟
研究人员开发了 GraphTok,这是一种新颖的基于 GPU 的分词器,旨在加速 Agentic 大型语言模型 (LLM) 的服务。该系统将可能成为长上下文和频繁更新上下文瓶颈的分词过程从 CPU 卸载到 GPU。GraphTok 实现了显著的加速,在 3.2 毫秒内编码一百万个 token,其性能比现有的基于 CPU 的分词器高出数倍。这种优化提高了 LLM 的服务能力,使单个前端能够以更低的延迟维持更高的流量负载。
-
Java框架直接编译为CUDA,用于GPU LLM推理
一个名为 jitLLM 的新 Java 框架已被开发出来,它可以将 Java 字节码直接编译为 CUDA,从而在 NVIDIA GPU 上进行 LLM 推理,而无需 Python 或 C++ 辅助程序。jitLLM 由曼彻斯特大学的 TornadoVM 团队与 Red Hat 合作开发,声称性能可达到 llama.cpp 的约 90%。该框架支持 Llama 3、Mistral 和 Qwen 等多种模型,并使用 TornadoVM 的…
-
阿里巴巴的Qwen模型将达到10T参数,着眼于AI驱动的开发
阿里巴巴集团的Qwen模型将实现显著扩展,计划中的Qwen4、Qwen4.5和Qwen5的参数量将在5T到10T之间,在此基础上,Qwen3.8的参数量为2.4T。该公司还专注于架构创新,以降低训练和推理成本,同时增加模型规模。阿里巴巴正在探索递归自我改进(RSI)以加速模型开发,实验表明Qwen参与芯片设计和优化推理基础设施。在多模态方面,阿里巴巴预览了将于11月推出的“Agent Video”模型,旨在实现更长、更可控、更智能的视…
-
开发者在 Together AI 速率限制下寻找推理提供商
一位独立开发者在测试多种大型语言模型(包括 Llama 3.3 70B 和 Qwen 2.5)用于代理存储库索引工具时,遇到了 Together AI 的速率限制。该开发者正在寻找提供更多慷慨的 API 积分供实验而无需企业级收入的替代推理提供商。几家主要的人工智能公司和推理平台被提及为潜在选择。