PulseAugur
中
实时 19:23:07
实体 Int4

Int4

PulseAugur coverage of Int4 — every cluster mentioning Int4 across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
16
90 天内 59
发布 · 30天
0
90 天内 0
论文 · 30天
9
90 天内 29
层级分布 · 90 天
主题
关系
情绪 · 30 天

7 天有情绪数据

最近 · 第 1/3 页 · 共 60 条
  1. TOOL · CL_369449 ·

    LLM 量化失败:离群值将 99.9% 的数据归零

    一篇技术博文详细介绍了大型语言模型 (LLM) 的 INT4 和 INT8 量化中因离群值引起的关键故障模式。当 4,096 个浮点数块中存在单个离群值时,它会导致其中 4,095 个数字在 INT4 中被量化为零,从而有效地破坏了非离群值的信号。这种现象解释了为什么每张量 INT4 量化很少使用,为什么 GPTQ 等方法中的组大小有限,以及 `llm_int8_threshold` 等参数的用途。该帖子建议修复方法包括防止离群值主导…

  2. TOOL · CL_368350 ·

    Chameleon 框架通过动态量化优化扩散模型

    研究人员开发了 Chameleon,一个新颖的训练后量化(PTQ)框架,旨在优化内存受限硬件上的扩散模型。与固定数字格式的先前方法不同,Chameleon 为每个权重通道和激活层动态选择最佳格式,并可选择按时间步长桶进行选择。这种动态方法能够更好地编码扩散过程中变化的激活分布。在 SDXL、SDXL-Turbo 和 PixArt-α 等模型上的实验表明,与现有的量化方法相比,Chameleon 在保持接近 FP16 参考的保真度的同时…

  3. TOOL · CL_368347 ·

    TriAxialKV 推进 LLM 推理,采用新颖的 KV 缓存量化技术

    研究人员开发了 TriAxialKV,一种用于 KV 缓存的新颖混合精度量化方案,旨在优化代理式 LLM 推理。该方法根据时间相关性、模态和语义角色为每个 token 分配一个三轴标签,从而实现定制化压缩。在 OSWorld 基准测试中使用 Qwen3-VL-32B-Thinking 进行测试时,TriAxialKV 在 BF16 KV 缓存下达到了 SGLang 的准确率,同时 KV 缓存容量翻了两番,吞吐量提高了 30%。

  4. TOOL · CL_364113 ·

    新的 CPTC 量化格式实现近乎最优的张量压缩

    研究人员开发了一种名为计算排列网格编码 (CPTC) 的新型低比特量化格式,可实现近乎最优的张量压缩。CPTC 通过联合编码值来实现这一点,使其比独立量化每个值的方法更接近信息论的理想值。CPTC 解码器效率很高,使用小型查找表和简单的计算,并已集成到 AWS Trainium 4 AI 加速器中。

  5. RESEARCH · CL_366225 ·

    研究揭示亚 4 位视觉 CNN 因量化而崩溃

    研究人员调查了深度视觉模型在量化到亚 4 位精度时为何会遭受准确率损失,这是资源受限环境中的常用技术。研究表明,这种崩溃是非线性的,主要影响后期层。一种新颖的多步恢复方法表明,将一小部分关键激活保留在 8 位精度下可以恢复显著的准确率。研究还强调了在标准 CPU 架构上,模型尺寸减小与解包操作导致的执行时间增加之间的权衡。

  6. TOOL · CL_362616 ·

    指南:通过大小和量化估算本地 LLM 的 RAM 和 VRAM 需求

    估算在本地运行大型语言模型(LLM)的内存需求,需要了解参数数量和量化级别。计算公式涉及将模型的参数数量乘以所选精度(例如 FP16、INT8、INT4)下的每参数字节数,然后加上约 20% 的 KV 缓存和运行时开销。量化显著减小了内存占用,使得模型在消费级硬件上更容易运行,尽管它可能会影响质量。VRAM 决定了处理速度,而系统 RAM 对于模型能否加载至关重要。

  7. COMMENTARY · CL_360699 ·

    LLM 的 GPU 显存需求:模型表、KV 缓存和开销计算

    了解运行大型语言模型所需的 GPU 显存,需要计算模型表和 KV 缓存所需的空间。用户适用的公式为(GPU 显存 - 模型表 - 其他开销)/(每 token 的笔记本 * 每个聊天的 token 数)。例如,在拥有 80 GB NVIDIA H100 的情况下,Llama 3.1 8B 模型在 8192 token 的聊天中,大约可以同时支持 54 个用户。模型表的大小取决于参数数量和使用的数值格式(例如 BF16、FP8、INT4…

  8. TOOL · CL_348574 ·

    研究发现激活缓存压缩影响SAE训练

    研究人员调查了激活缓存压缩对稀疏自编码器(SAE)训练的影响。他们的发现表明,压缩的有效性差异很大,一些方法,如朴素的每token int4,比简单的重新播种会丢失更多特征。然而,在量化之前标准化通道可以提高int4的性能,使其在相同文件大小下保留的特征方面回到重新播种的基线之上。研究还强调,用于节省内存的bf16前向传递比旋转的8位存储导致了稍多的特征损失。

  9. TOOL · CL_341136 ·

    开源大语言模型的量化提供了速度提升,但缺乏一致的准确性报告

    最近对中型开源大语言模型的分析显示,量化技术虽然有望提升速度,但通常会以准确性为代价,而这种代价在所有模型和基准测试中并未得到一致的报告。研究发现,4位权重量化可以将小批量数据的解码速度大致提高一倍,但随着批量大小的增加以及模型变得计算密集型,这种性能提升会显著下降。对于这些更大的批量,FP8量化显示出持续速度提升的潜力,尽管关于各种量化方法和AMD、Intel Gaudi等硬件的准确性权衡的全面数据仍然稀缺。

  10. TOOL · CL_332504 ·

    Qwen3.8 27b INT4 AWQ 量化在长上下文时加剧循环行为

    Reddit 用户在 r/LocalLLaMA 板块分享了关于 Qwen3.8 27b 模型使用 INT8 量化与 INT4 Activation Aware Quantization (AWQ) 性能对比的发现。用户观察到,在使用 INT4 AWQ 时,尤其是在超过 10 万 token 的长上下文长度下,循环行为显著增加,每项任务的成功率下降。虽然 INT8 也出现了循环,但 INT4 量化加剧了这一问题,表明上下文长度和过度压榨…

  11. TOOL · CL_317201 ·

    新框架SLoSa训练小型、安全的AI模型用于机器人任务规划

    研究人员开发了SLoSa,一个旨在为机器人任务规划创建小型、节能且安全意识强的基座模型的框架。该方法结合了经典规划方法和大型语言模型(LLMs),以克服各自的局限性。SLoSa利用一个安全意识数据集和一个两阶段训练过程,包括监督微调和强化学习,以确保机器人在遵守安全约束的同时实现目标。该框架在各种PDDL域、模拟环境以及物理机械臂上都取得了成功,显示出在边缘设备上更高的成功率和更低的功耗。

  12. TOOL · CL_307779 ·

    FuTransformer 通过 Hopper GPU 上的 FP8 和 INT4 加速 Llama 推理

    研究人员开发了 FuTransformer,一种用于 NVIDIA Hopper GPU 上 Llama 式推理的新型 CUDA 实现。该系统通过在预填充阶段采用 FP8 精度,在解码阶段采用 INT4 精度,显著提升了性能,优化了预填充和解码阶段。与现有的 PyTorch FP8 实现相比,FuTransformer 的预填充速度最高可提高 1.48 倍,并且 INT4 解码速度比同类方法快 1.3-2.4 倍,同时对困惑度(per…

  13. TOOL · CL_301288 ·

    PrismQuant框架优化LLM量化以提升性能

    研究人员推出PrismQuant,一个旨在优化大型语言模型分组量化器的新框架。该方法侧重于将激活特征空间与量化器的子空间对齐,从而提高性能和效率。在Llama、Qwen和Mistral等模型上进行的实验表明,在困惑度和准确性方面取得了最先进的成果,与传统的浮点格式相比,速度显著加快,内存使用量也大大减少。

  14. RESEARCH · CL_300700 ·

    LoopQuant 实现了循环语言模型的低比特高效部署

    研究人员开发了 LoopQuant,一个新颖的训练后量化框架,旨在以低比特宽度高效部署循环语言模型 (LoopLMs)。与现有方法在处理 LoopLMs 的递归性质时遇到的困难不同,LoopQuant 采用了三个关键组件:跨循环分布规范化、感知交互的精度分配以及循环条件任务校准。实验表明,LoopQuant 在 Ouro-2.6B 等模型上显著优于现有方法,实现了显著的内存减少和解码速度提升,同时保持了高精度。

  15. TOOL · CL_291242 ·

    研究人员发现,量化AI裁判模型会导致显著的判决漂移

    Nautilus Platform 的研究人员探讨了量化其AI裁判模型的影响,该模型使用 LoRA 适配器,准确率为 88.5%。他们发现,与 bfloat16 基准模型相比,将模型量化到 Int8 或 Int4 会显著增加判决漂移,其中十七个 Int4 量化导致了判决变化。为缓解此问题,他们制定了四项规则的部署纪律,包括生产环境裁判模型仅使用 bfloat16/fp16,并在评估前冻结验收标准。

  16. TOOL · CL_281263 ·

    FlipGate 工具衡量量化 LLM 中每个答案的翻转情况

    一款名为 FlipGate 的新工具已被开发出来,用于评估量化大语言模型(LLM)的每个答案的一致性,超越了传统的准确性指标。FlipGate 衡量量化模型与基线相比,将正确答案错误化的频率,从而为可接受的变异建立一个“噪声基底”。这种方法旨在识别可能被整体准确性分数掩盖的回归问题,确保生产系统的可靠性更高。

  17. TOOL · CL_279308 ·

    Qwen 3.5 LLM 使用 eBay 挖矿硬件在 FPGA 上实现

    一位用户使用 INT4 量化技术,在现场可编程门阵列 (FPGA) 上实现了 Qwen 3.5 大型语言模型。该项目利用相对廉价的 eBay 挖矿硬件,特别是 SQRL FK33 和 Jungle Cat 板卡,来实现 LLM 推理。对 Qwen 3.5 9B 模型的初步测试表明,在 75MHz 下的推理速度约为 2 tokens/秒,并预计 27B 模型在多卡设置和优化 RTL 下将实现显著更高的性能。

  18. TOOL · CL_274348 ·

    Unsloth 发布 Beta 版,支持命令面板和更快的 Laya 决策

    Unsloth 发布了 0.1.902-beta 版本,引入了可通过 Cmd/Ctrl+P 访问的命令面板,并增强了桌面 UI/UX,以实现更快的导航和更清晰的错误消息。此更新将 Laya 决策模型的速度提高了 4.1 倍,并通过保持 INT4 和 MXFP4 检查点打包来提高 LoRA 训练期间的内存效率。此外,该版本还扩展了对托管决策 API 提供商的支持,并为图像和视频模型处理引入了新功能。

  19. TOOL · CL_268915 ·

    新研究详细介绍了循环 Transformer 中的量化失败

    研究人员在循环 Transformer 的训练后量化 (PTQ) 中识别出两种关键的失败模式,这些 Transformer 在递归步骤中重用权重。第一种称为“反馈暴露”,当量化层在没有恒等路径的情况下扰乱递归状态时发生,导致错误放大。第二种“校准盲目性”源于量化方法,这些方法基于初始激活值进行计算,而忽略了递归中的后续状态。在 Huginn-3.5B 和 Mamba 等模型上的实验证明了这些问题,而跨递归步骤累积 Hessian 的解…

  20. TOOL · CL_268871 ·

    新研究质疑量化下 AI 可解释性迁移指标

    arXiv 上的一篇新论文质疑了使用余弦相似度来衡量量化下可解释性伪影迁移有效性的有效性。作者认为,报告的统计数据缺乏正确解释所需的噪声基底信息。他们提出了一种测量此噪声基底的方法,并在 Qwen2.5-1.5B-Instruct 上进行了演示,发现在 INT4 量化下,可解释性伪影的方向实际上会旋转,这一发现被标准的报告实践所掩盖。该论文还强调,尺度不变统计量无法区分迁移的决策变量的平移和衰减,并建议了替代的报告建议。