Auguste Hadamard
PulseAugur coverage of Auguste Hadamard — every cluster mentioning Auguste Hadamard across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
PrismQuant框架优化LLM量化以提升性能
研究人员推出PrismQuant，一个旨在优化大型语言模型分组量化器的新框架。该方法侧重于将激活特征空间与量化器的子空间对齐，从而提高性能和效率。在Llama、Qwen和Mistral等模型上进行的实验表明，在困惑度和准确性方面取得了最先进的成果，与传统的浮点格式相比，速度显著加快，内存使用量也大大减少。
-
新的LLM量化方法有望减少内存并加快推理速度 · 跟踪2个来源
两篇新的研究论文介绍了一种新颖的大型语言模型（LLM）量化方法，以减小其内存占用并提高推理速度。SpectrumQuant提出了一种数据感知正交变换方法，可对齐激活值的谱特性，其性能优于现有策略，且计算开销更小。DualQuant提供了一个无校准的框架，用于权重和激活量化，在显著减少内存和提高吞吐量方面取得了有竞争力的准确性，尤其是在较新的块格式方面。
-
CNet框架通过Wirtinger导数实现复杂值深度学习
研究人员开发了CNet，一个用于训练深度复杂值神经网络（CVNN）和使用Wirtinger导数优化复杂值函数的C++/CUDA框架。该框架采用物理原生方法，将神经网络视为复杂运算的级联，并将分类视为玻恩规则测量。CNet包含其层的CPU参考和CUDA内核，计算图跨批次克隆以进行GPU执行。该框架还集成了可学习的复杂卷积网络的信号处理原语和一个具有低内存推理模式的真实Adam优化器。初步研究表明，使用CNet构建的复杂值、FNet风格的…
-
CURIO框架通过驱动好奇心的学习增强LLM的开放式探索
研究人员推出了一种新颖的测试时学习框架CURIO，可增强大型语言模型（LLM）的开放式探索能力。CURIO集成了内在好奇心世界模型（ICWM），为新颖的推理提供预测误差奖励，以补充标准的强化学习奖励。该方法旨在防止抑制那些可能宝贵但最初奖励较低的探索方向。在Qwen3骨干模型上进行的数学发现任务和单细胞去噪实验表明，与仅基于任务的强化学习基线相比，在某些目标上相对提高了18.3%，并增强了去噪性能。
-
新研究探索LLM的高级量化技术 · 已追踪10个来源
多篇研究论文介绍了量化大型语言模型（LLMs）的新技术，以减少其计算和内存占用。这些方法旨在提高效率，同时不显著牺牲性能。方法包括激活量化的优化旋转、面向量化感知训练的最小范数优化，以及用于部署对齐的量化感知蒸馏框架。其他研究侧重于超低复杂度反量化、重新思考优化损失尺度以及量化的联合交替细化，所有这些都有助于使LLMs更易于访问和更高效。
-
统一 INT4 量化在真实梯度张量上优于 NVFP4
一项比较梯度张量量化方案的研究发现，在真实世界训练数据上，统一 INT4 量化方案优于 NVIDIA 的 NVFP4 量化方案。研究表明，在量化前通常应用的随机 Hadamard 旋转能有效处理异常值，使得类似浮点数的间隔所提供的动态范围变得不那么关键。因此，一种更简单、均匀间隔的 INT4 量化方案被证明在梯度训练中更有效。
-
RoPE 对齐的旋转未能提高 4 位量化精度
一篇新的研究论文探讨了 RoPE 对齐的 Q/K 旋转在语言模型的动态 4 位量化中的有效性。研究发现，虽然成对旋转可以与 RoPE 交换，但在测试的动态 W4A4KV4 设置中，它们并未提高精度。用这些配置替换全头 Hadamard 变换实际上增加了多个检查点和上下文长度的困惑度。
-
新研究预测随机重参数化对神经网络训练效率的影响
一篇新研究论文介绍了随机映射网络（RaMaN），这是一种旨在预测随机低维重参数化何时能有效训练神经网络的方法。该论文提出了一种面向方向的二次主公式，用于根据曲率谱和位移剖面来预测训练转换。RaMaN 利用结构化的 Hadamard 或高斯映射来实例化预测的潜在维度，从而减少内存需求并实现各种模型的有效训练。
-
新技术改进Transformer KV缓存压缩
研究人员开发了Codec-Gauge，这是一种训练后层，旨在改进长上下文Transformer模型中键值（KV）缓存的压缩。该方法学习正交通道变换，以优化KV缓存的坐标几何以适应压缩后端。通过将KV能量集中在低频布局中，Codec-Gauge显著降低了KL散度，并提高了各种量化方法的质量保持能力，其性能优于PCA和DCT等标准技术。
-
新的KReTTaH框架通过张量训练提供无数据插补
引入了一个名为KReTTaH的新框架，用于多路数据插补，利用张量训练和Hadamard过参数化的核回归。该方法被设计为无训练数据、可解释和非参数的。KReTTaH将插补问题重新表述为再生核希尔伯特空间内的回归问题，将张量回归系数约束在固定秩张量训练流形上，并采用Hadamard过参数化以提高效率。在功能性磁共振成像数据和动态图恢复上的数值测试表明，KReTTaH在准确性方面优于当前最先进的张量、贝叶斯和神经网络方法。