AgentShortlist

AI 模型通过新的 2 位量化技术大幅缩小 · 跟踪 6 个来源

研究人员详细介绍了一种使用 trellis 编码的 2 位量化方法，可以显著减小大型语言模型 (LLM) 的尺寸。该技术允许 Qwen3-4B 等模型在无需重新训练的情况下从 8 GB 缩小到 1.24 GB，从而可以在资源受限的环境中使用它们。该过程包括证明 AI 转换的代码以及探索 AI 代理与工具的交互，突出了 AI 效率和应用的进步。