Hugging Face Transformers
PulseAugur coverage of Hugging Face Transformers — every cluster mentioning Hugging Face Transformers across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
Google 发布 Gemma 2 开源大语言模型系列，采用注重效率的架构
Google 发布了 Gemma 2，这是其开源大语言模型系列的更新版本，提供 9B 和 27B 参数规模。这些模型采用了重要的架构变更，包括混合注意力机制和分组查询注意力 (GQA)，旨在提高推理效率并降低计算成本。Gemma 2 模型设计用于在 NVIDIA H100 GPU 或 Google TPU 等硬件上高效运行，使其对开发者和研究人员进行微调和部署更具可访问性。
-
InternScience 发布 35B Agents-A1 模型，用于复杂的代理任务
InternScience 发布了 Agents-A1，这是一款拥有 350 亿参数的混合专家（Mixture-of-Experts）模型，专为复杂的代理任务而设计。该模型旨在通过跨越长时域搜索、工程和科学研究等领域的扩展能力，实现与万亿参数模型相媲美的性能。Agents-A1 与 Hugging Face Transformers、vLLM 和 SGLang 等流行库和服务框架兼容，并提供了详细的集成说明。
-
LoRA 微调仅用 1% 参数即可匹配完整模型性能
一位开发者详细介绍了如何高效地微调大型语言模型。LoRA（Low-Rank Adaptation，低秩适配）通过引入可训练的适配器矩阵，仅需训练模型参数的一小部分，从而显著降低内存需求。作者成功将 LoRA 应用于一个 1.5B 参数的 Qwen2.5 模型，取得了与完整微调一个 270M 模型相当的性能，且产生的模型文件大小也大大减小。该帖子还涵盖了混合精度训练错误和 CUDA 显存不足等常见问题的故障排除，并强调了通过比较每秒处理…
-
Google DeepMind 发布 DiffusionGemma，并行文本生成速度提升 4 倍
Google DeepMind 推出了 DiffusionGemma，这是一种新颖的 LLM 架构，摒弃了传统的自回归式文本生成。该新模型采用离散文本扩散技术，可以同时对整个 token 块进行去噪和生成，而不是一次生成一个 token。据称，这种并行处理方法在专用 GPU 上可将推理速度提高高达四倍，并采用了混合专家（MoE）设计，从约 260 亿参数的主干模型中激活约 38 亿参数。该模型在 Apache 2.0 许可下开源，支持…
-
研究人员寻求库来发布新的优化算法
一位研究人员正在寻求关于发布他们新开发的 QQN 二次拟牛顿优化算法的最佳库的建议。他们已经在 Rust、Java 和 JavaScript 中实现了该算法，但希望将其移植到一个更广泛使用的框架中以供社区评估。研究人员正在寻找一个强类型、接近底层的选项，并对 argmin 等潜在库的开发活跃度表示担忧。
-
谷歌DiffusionGemma LLM采用扩散架构实现每秒1000个token
Google DeepMind发布了DiffusionGemma，这是一款开源LLM，它利用扩散架构进行文本生成，与传统的自回归模型相比，推理速度显著提高。该模型在单个H100 GPU上每秒可处理多达1000个token，且仅需18 GB VRAM，使其能够高效地在单GPU上部署。虽然它在速度上牺牲了一些准确性，但在代码填充和实时应用等任务中表现出色，并且还支持包括图像和视频在内的多模态输入。
-
Hugging Face Transformers 库简化了 AI 模型集成
Hugging Face Transformers 库已成为 AI 开发的基石，简化了加载和使用预训练模型的过程。Hugging Face 最初是一家聊天机器人初创公司，在成功将 Google 的 BERT 模型移植到 PyTorch 后，转向了开源工具。该库现在跨 PyTorch、TensorFlow 和 JAX 提供了统一的 API，使开发人员能够更高效地构建 AI 应用程序。
-
Hugging Face Transformers 添加 MiniMax-M3-VL、DeepSeek-V3.2 和 DiffusionGemma
Hugging Face Transformers 库已发布 5.12.0 版本，引入了 MiniMax-M3-VL 等新模型，这是一个具有 CLIP 式视觉塔和稀疏专家混合解码器的视觉语言模型。此次更新还包括对 PP-OCRv6（一个高效的 OCR 系统）和 Parakeet-RNNT（一个带有 RNN-T 解码器的快速 Conformer 编码器）的改进。此外，5.11.0 版本添加了 DiffusionGemma（一个用于更快文…
-
Google DeepMind 发布 DiffusionGemma 以实现更快的本地文本生成
Google DeepMind 发布了 DiffusionGemma，这是一个实验性的开源模型，旨在实现快速文本生成。与逐个 token 生成文本的传统模型不同，DiffusionGemma 可以并行生成多个 token，显著加快了输出速度。NVIDIA 已对该模型进行了优化，使其能在包括 GeForce RTX、RTX PRO 和 DGX Spark 系统在内的 GPU 上高效运行，从而实现更快的本地 AI 应用。
-
ONNX Runtime 在仅 CPU 的语音基准测试中优于 HF Transformers
一项在仅 CPU 硬件上对 Parakeet TDT 0.6B 模型进行 ONNX Runtime、Hugging Face Transformers 和 GGUF 的基准测试显示，ONNX Runtime 的推理速度比 Hugging Face Transformers 快 37%。这种性能提升归因于 ONNX Runtime 的算子融合和 AVX2 优化，但代价是内存使用量更高。GGUF 提供了一种更节省内存的解决方案，但推理时间…
-
Google 准备推出 Gemma 4，专注于文本能力
据报道，Google 正在开发其开源大语言模型的最新迭代版本 Gemma 4。初步迹象表明，此版本将专注于核心的文本处理能力，省略用于视觉和音频处理的专用塔。这一开发动态通过 Hugging Face Transformers 库中的一个拉取请求得以暗示，表明模型集成和功能方面的工作正在进行中。
-
开发者可通过本地化流程削减大模型 API 成本
开发者可以通过构建自己的本地大模型流程，而不是仅仅依赖云 API，来显著降低成本。虽然云服务非常适合生产环境，但像 Llama 3 和 Mistral 这样的本地模型在开发、测试和内部工具方面提供了足够性能，可以在标准硬件上运行。这种方法提供了成本清晰度、离线能力、增强的隐私性以及更快的实验速度，尽管它在速度、模型智能和运营开销方面存在权衡。
-
Azercell 在 SageMaker 上训练阿塞拜疆语 LLM 并优化分词器
Azercell Telecom 与 AWS Generative AI Innovation Center 合作，开发了一个在 Amazon SageMaker AI 上训练阿塞拜疆语大型语言模型的框架。该项目专注于克服数据量有限的形态丰富语言所带来的挑战，通过内核优化实现了 23% 的训练吞吐量提升和 58% 的 GPU 内存使用量减少。该项目还引入了一个自定义分词器，通过将适合模型上下文窗口的阿塞拜疆语文本量加倍，提高了分词效率。
-
Llamion 语言模型将 Orion-14B 转换为 Llama 架构
研究人员推出了一系列名为 Llamion 的新型 140 亿参数开放权重语言模型。这些模型通过一种称为高效知识保留转换（KEPT）的技术，将 Orion-14B 模型转换为 Llama 架构。该方法结合了参数映射和跨架构知识蒸馏，以保留 Orion 的行为。Llamion 模型在 KoMMLU 等基准测试中表现出色，超越了现有模型，并保留了 Python 编程和处理 200K token 上下文等能力。
-
开发者使用 Gemma 4 构建离线 AI 职业顾问
一位计算机科学讲师开发了一个名为 GuidanceOS 的离线 AI 职业顾问，旨在完全在本地 GPU 上运行，无需互联网连接。该系统使用了 Google 的 Gemma 4 模型，特别是 `gemma-4-e4b-it` 变体，通过 4 位量化加载，使其能够容纳在 15GB 的 VRAM 中。为了将用户技能与工作和课程进行匹配，该顾问采用了从超过 130,000 条 LinkedIn 职位发布和 Coursera 课程记录构建的 T…
-
2026年顶级开源库支持本地LLM微调
最近的一项分析重点介绍了2026年用于本地微调大型语言模型的顶级开源库。这些工具，包括LoRA、QLoRA、Hugging Face Transformers和Unsloth，旨在降低硬件要求并加快部署速度。重点是实现本地服务器上的高效微调。
-
Google's Gemma 4 models achieve 3x speed boost with speculative decoding
Google 为其 Gemma 4 开源模型发布了多令牌预测 (MTP) 草稿器，可将推理速度提高高达三倍。这项进展利用了投机解码架构，允许一个轻量级的草稿器模型同时预测多个令牌，而主模型则对其进行验证。MTP 草稿器的目标是解决标准 LLM 推理中的内存带宽瓶颈，在不影响输出质量或推理准确性的情况下提供更快的性能。
-
机器学习从业者就 Nanochat 与 Llama 从头开始训练模型进行辩论
一位用户正在就为新训练运行选择模型架构寻求建议，目标是选择一个与 Hugging Face Transformers 库兼容的开源项目。他们之前的项目成功地使用 Nanochat 进行预训练和 SFT，但生成的模型与 Transformers 不直接兼容。用户正在考虑 Llama 架构，因为它具有潜在的互操作性，但也在权衡 Nanochat 的优势，例如其自动缩放深度参数。他们正在寻求关于最佳架构或确保兼容性的方法的建议。
-
Gemma 3n 在开源生态系统中全面可用！
Google DeepMind 已全面发布 Gemma 3n，这是一款专为设备端应用设计的移动优先多模态模型。这种新架构支持图像、音频、视频和文本输入，以及文本输出，并针对效率进行了优化，提供有效参数为 2B 和 4B 的版本，模仿了传统 2B 和 4B 模型的内存占用。Gemma 3n 引入了 MatFormer 等新组件以提高灵活性，以及 Per Layer Embeddings 以提高内存效率，在多语言、数学、编码和推理方面取得…
-
Replit推出AI模板以加快开发者入职
Replit推出了一套由AI驱动的模板，旨在简化开发者的入职流程并加速AI驱动型应用程序的创建。这些模板支持多种编程语言和框架，简化了向量数据库和大型语言模型等工具的复杂设置。值得注意的示例包括用于Qdrant向量搜索、比较Gemini和GPT-4、使用OpenAI构建AI支持代理以及使用OpenAI Whisper进行会议转录的模板。