Hugging Face Transformers
PulseAugur coverage of Hugging Face Transformers — every cluster mentioning Hugging Face Transformers across labs, papers, and developer communities, ranked by signal.
7 天有情绪数据
-
KV 缓存缺陷破坏语言代理回滚一致性
arXiv 上的一篇新研究论文详细介绍了一个与 KV 缓存保留相关的语言代理中的关键漏洞，该漏洞可能导致回滚不一致。这意味着，即使应用程序认为它已丢弃某些信息，模型仍可能由于残留的 KV 状态而保留并关注这些信息。研究人员在多个开源模型上展示了这个问题，并发现即使使用 Hugging Face Transformers 和 LangGraph 等标准工具也可以重现。他们提出了一种通过事务本地缓存恢复来解决此问题的方案，以弥补此状态完整性漏洞。
-
新流程解决视频-LLM问答中的幻觉引用问题
研究人员开发了一个自验证流程，以解决由视觉语言模型驱动的视频问答系统中出现的幻觉引用问题。这些系统经常自信地提出时间戳声明，但这些声明并未得到所引用帧的支持，从而误导用户。提出的流程包括一个初始的检索增强语言模型，该模型起草带有时间戳引用的答案，然后独立地重新检查每个引用的帧。实验表明，直接要求视觉模型验证声明由于“谄媚”效应而无效，而一个小型自然语言推理模型被证明是一个稳定且可解释的验证器，在对抗性场景中成功识别了79%的虚假声明，…
-
KV 缓存大小挑战 LLM 推理效率
KV 缓存是高效 LLM 推理的关键组成部分，它存储每个 token 的键值向量以避免重新计算。该缓存的体积可能比模型权重本身大得多，尤其是在上下文窗口较长的情况下，这会导致巨大的 GPU 内存需求。优化 KV 缓存的传输和管理对于降低推理延迟和成本至关重要，vLLM 和 DeepSpeed 等工具提供了潜在的改进方案。
-
Nanbeige4.2-3B 模型已修复 Apple Silicon 部署问题
一篇新论文详细介绍了在 Apple Silicon 上部署 Nanbeige4.2-3B 模型（一个拥有 30 亿参数、采用 Looped Transformer 架构的 agentic 模型）所面临的挑战及解决方案。研究人员发现了五个阻止该模型在 Hugging Face Transformers 上运行的关键 bug，包括 RoPE 缓冲区和 API 调用问题。此外，该模型的层重用策略导致了显著的内存开销，限制了其有效上下文宽度。…
-
Meta Muse Glimmer 30B 模型已集成到 Hugging Face Transformers 和 Ollama 中
Meta 的新型 Muse Glimmer 30B 多模态模型已正式集成到 Hugging Face Transformers v5.15.0 和 Ollama v0.32.8 中，使其能够广泛用于本地 AI 应用。该开放权重模型专为代理工作流设计，例如编码助手和个人助手。此次集成使用户能够轻松地在消费级硬件上下载和运行 Muse Glimmer，无需使用云服务。此外，llama.cpp 发布了一个更新，通过多输出后端采样和 toke…
-
Tevatron-Elastic 统一检索系统的模型扩展
研究人员推出了 Tevatron-Elastic，这是一个旨在简化弹性检索系统训练的统一抽象。该框架将减少模型大小的三种方法——更少的层、减少上层 token 处理以及更短的嵌入——整合到一个单一的可配置抽象中。该系统支持检索器和重排器，并且可以通过与 Hugging Face Transformers 兼容的接口应用于编码器和解码器模型。这种方法允许训练单个检查点，该检查点可以服务于多种模型大小，为生产环境提供了灵活性。
-
AI实验室在快速发展中推出新模型和基础设施
多家AI实验室发布了新模型和基础设施更新。Google推出了Gemini 3.7 Flash，强调在价格大幅降低的同时提高了编码和智能体能力。Meta发布了Muse Glimmer，一个专为本地智能体设计的开放权重多模态模型，Anthropic报告了Claude变体在改进数学边界方面的研究突破。此外，DeepSeek开源了其用于智能体工作流的Harness，NVIDIA发布了Nemotron 3.5 Lightning，一个针对智能体…
-
Google 发布 PaliGemma 视觉模型用于微调
Google 发布了 PaliGemma 模型系列，这是一系列开源的视觉语言模型，专为微调而非通用聊天机器人使用而设计。这些模型结合了 Google 的 SigLIP 视觉编码器和 Gemma 语言解码器，有多种尺寸可供选择，参数量高达 270 亿。PaliGemma 针对单轮任务进行了优化，旨在通过微调适应特定应用，如视觉问答或光学字符识别，并可通过 Hugging Face Transformers 库进行集成。
-
Inkling 多模态模型集成到 Hugging Face、vLLM；llama.cpp 添加音频输入
顶级国际象棋引擎 Stockfish 18 的最新版本与开源 AI 领域的重大进展同时发布。Hugging Face Transformers v5.14.0 和 vLLM v0.26.0 集成了新的 Inkling 多模态模型，这是一个来自 Thinking Machines 的 9750 亿参数模型，使开发人员能够轻松地将其用于各种任务。同时，llama.cpp 的 b10155 更新增加了对 MiMo-V2.5 音频输入和基于 …
-
AI供应商锁定隐藏成本明细：迁移、再培训和停机时间
从Amazon Bedrock、Google Vertex AI或Azure OpenAI等AI平台迁移会产生除初始API费用之外的巨额隐藏成本。这包括数据转换和代码重构所需的大量工程工作，据估计，一个4人团队在数月内可能花费数十万美元。模型再培训、数据重新格式化以及多次实验的计算成本也会产生额外费用，可能高达数万美元。此外，迁移过程可能导致暂时性停机、性能下降和收入损失，据估计每周损失的价值可能高达数十万美元。
-
Google 发布 Gemma 2 开源大语言模型系列，采用注重效率的架构
Google 发布了 Gemma 2，这是其开源大语言模型系列的更新版本，提供 9B 和 27B 参数规模。这些模型采用了重要的架构变更，包括混合注意力机制和分组查询注意力 (GQA)，旨在提高推理效率并降低计算成本。Gemma 2 模型设计用于在 NVIDIA H100 GPU 或 Google TPU 等硬件上高效运行，使其对开发者和研究人员进行微调和部署更具可访问性。
-
InternScience 发布 35B Agents-A1 模型，用于复杂的代理任务
InternScience 发布了 Agents-A1，这是一款拥有 350 亿参数的混合专家（Mixture-of-Experts）模型，专为复杂的代理任务而设计。该模型旨在通过跨越长时域搜索、工程和科学研究等领域的扩展能力，实现与万亿参数模型相媲美的性能。Agents-A1 与 Hugging Face Transformers、vLLM 和 SGLang 等流行库和服务框架兼容，并提供了详细的集成说明。
-
LoRA 微调仅用 1% 参数即可匹配完整模型性能
一位开发者详细介绍了如何高效地微调大型语言模型。LoRA（Low-Rank Adaptation，低秩适配）通过引入可训练的适配器矩阵，仅需训练模型参数的一小部分，从而显著降低内存需求。作者成功将 LoRA 应用于一个 1.5B 参数的 Qwen2.5 模型，取得了与完整微调一个 270M 模型相当的性能，且产生的模型文件大小也大大减小。该帖子还涵盖了混合精度训练错误和 CUDA 显存不足等常见问题的故障排除，并强调了通过比较每秒处理…
-
Google DeepMind 发布 DiffusionGemma，并行文本生成速度提升 4 倍
Google DeepMind 推出了 DiffusionGemma，这是一种新颖的 LLM 架构，摒弃了传统的自回归式文本生成。该新模型采用离散文本扩散技术，可以同时对整个 token 块进行去噪和生成，而不是一次生成一个 token。据称，这种并行处理方法在专用 GPU 上可将推理速度提高高达四倍，并采用了混合专家（MoE）设计，从约 260 亿参数的主干模型中激活约 38 亿参数。该模型在 Apache 2.0 许可下开源，支持…
-
研究人员寻求库来发布新的优化算法
一位研究人员正在寻求关于发布他们新开发的 QQN 二次拟牛顿优化算法的最佳库的建议。他们已经在 Rust、Java 和 JavaScript 中实现了该算法，但希望将其移植到一个更广泛使用的框架中以供社区评估。研究人员正在寻找一个强类型、接近底层的选项，并对 argmin 等潜在库的开发活跃度表示担忧。
-
谷歌DiffusionGemma LLM采用扩散架构实现每秒1000个token
Google DeepMind发布了DiffusionGemma，这是一款开源LLM，它利用扩散架构进行文本生成，与传统的自回归模型相比，推理速度显著提高。该模型在单个H100 GPU上每秒可处理多达1000个token，且仅需18 GB VRAM，使其能够高效地在单GPU上部署。虽然它在速度上牺牲了一些准确性，但在代码填充和实时应用等任务中表现出色，并且还支持包括图像和视频在内的多模态输入。
-
Hugging Face Transformers 库简化了 AI 模型集成
Hugging Face Transformers 库已成为 AI 开发的基石，简化了加载和使用预训练模型的过程。Hugging Face 最初是一家聊天机器人初创公司，在成功将 Google 的 BERT 模型移植到 PyTorch 后，转向了开源工具。该库现在跨 PyTorch、TensorFlow 和 JAX 提供了统一的 API，使开发人员能够更高效地构建 AI 应用程序。
-
Hugging Face Transformers 添加 MiniMax-M3-VL、DeepSeek-V3.2 和 DiffusionGemma
Hugging Face Transformers 库已发布 5.12.0 版本，引入了 MiniMax-M3-VL 等新模型，这是一个具有 CLIP 式视觉塔和稀疏专家混合解码器的视觉语言模型。此次更新还包括对 PP-OCRv6（一个高效的 OCR 系统）和 Parakeet-RNNT（一个带有 RNN-T 解码器的快速 Conformer 编码器）的改进。此外，5.11.0 版本添加了 DiffusionGemma（一个用于更快文…
-
Google DeepMind 发布 DiffusionGemma 以实现更快的本地文本生成
Google DeepMind 发布了 DiffusionGemma，这是一个实验性的开源模型，旨在实现快速文本生成。与逐个 token 生成文本的传统模型不同，DiffusionGemma 可以并行生成多个 token，显著加快了输出速度。NVIDIA 已对该模型进行了优化，使其能在包括 GeForce RTX、RTX PRO 和 DGX Spark 系统在内的 GPU 上高效运行，从而实现更快的本地 AI 应用。
-
ONNX Runtime 在仅 CPU 的语音基准测试中优于 HF Transformers
一项在仅 CPU 硬件上对 Parakeet TDT 0.6B 模型进行 ONNX Runtime、Hugging Face Transformers 和 GGUF 的基准测试显示，ONNX Runtime 的推理速度比 Hugging Face Transformers 快 37%。这种性能提升归因于 ONNX Runtime 的算子融合和 AVX2 优化，但代价是内存使用量更高。GGUF 提供了一种更节省内存的解决方案，但推理时间…