WikiText-2
PulseAugur coverage of WikiText-2 — every cluster mentioning WikiText-2 across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
学习大型语言模型:理解每个组件背后的历史问题
学习大型语言模型(LLM)通常是从上至下进行的,这导致了任意的设计决策。然而,理解导致每个组件发明的历史问题可以提供至关重要的背景信息。关键挑战包括处理可变输入长度以及从海量的自由文本中高效学习以供跨任务重用。文章追溯了LLM通过其核心组件的演变,从早期计数词语序列的n-gram模型开始,这些模型面临数据稀疏性的限制,然后逐步发展到解决这些问题的后续开发。
-
新的BQ-LoRA方法大幅削减LLM适配器存储
研究人员开发了BQ-LoRA,一种用于量化大语言模型参数高效微调的新颖方法,它使用二进制比特而非FP16精度,显著减少了适配器存储。该方法包含NormScale和LearnThresh等变体,提供了一个理论框架来理解其正则化特性和泛化界限。实验表明,BQ-LoRA在Qwen2.5模型上可以优于QLoRA,并在Llama 2上保持竞争力,同时通过允许在内存中存储更多适配器,也展示了在部署场景中的实际优势。
-
Apple Silicon GPU通过新的稀疏内核获得LLM速度的重大提升
研究人员开发了metalSPARSE,一种用于Apple Silicon GPU的新型内核,通过利用半结构化稀疏性显著加速LLM解码。该内核压缩模型权重,从而实现更快的内存带宽利用率,这对于边缘设备上的自回归模型至关重要。基准测试显示,与M2和M4 MacBook上的现有方法相比,速度有了显著提升,并且在结合特定的掩码和量化技术时,对模型质量的影响很小。
-
新的 W-ISA 系统可在语言模型中实现可复现的权重空间介入
研究人员推出 W-ISA,这是一个新的软件指令集和运行时,专为在预训练语言模型上执行权重空间介入程序而设计。该系统允许在隔离的执行上下文中进行精确的参数更新、投影和消融,确保更改被包含并且原始模型状态得以恢复。在 SmolLM-135M-Instruct 和 Qwen2.5-1.5B-Instruct 等模型上的评估表明,W-ISA 可以准确地复制介入效果,并提供一种可复现、可组合的方法来进行参数级实验。
-
0.1比特AI模型显示出任务依赖的性能限制
研究人员试图创建一个0.1比特模型,发现极端的量化本身不足以维持性能。虽然一个340 KB的蒸馏模型可以在关键词任务上媲美一个更大的教师模型,但在情感和蕴含任务上的性能显著下降。该研究表明,“比特地板”是任务依赖的,简单的任务比需要细微理解的复杂任务更容易进行极端压缩。
-
27B LLM压缩至8.31GB,可在12GB笔记本GPU上运行
研究人员开发了一种新颖的方法,显著减小了大型语言模型的尺寸,使得一个拥有270亿参数的模型Qwen3.8-27B能够装入一个12GB的笔记本GPU。这是通过将模型的权重压缩到每个权重约2.5位来实现的,从而使其尺寸比原始的53.8GB减小了84.5%。新压缩的模型名为Pingala-8,在WikiText-2困惑度基准测试中也表现出改进的性能,尽管一种竞争格式DASH-Q IQ2_XS仍然显示出更优越的结果。压缩后的模型需要一个针对N…
-
新的ResCom技术在量化后提升大语言模型准确性
研究人员开发了一种名为ResCom的新技术,以提高大语言模型量化后的准确性。该方法通过使用低秩校正来补偿层输出中的错误,从而解决了激活舍入造成的性能下降问题。ResCom在Llama-3-8B模型上展示了显著的改进,降低了困惑度,并提高了在WikiText-2、MMLU和GSM8K等基准测试上的准确性。该技术对各种模型尺寸都有效,并在内存减少和性能之间取得了平衡。
-
新的神经谱容量方法改进了 Transformer 架构预测
研究人员开发了残差感知神经谱容量(ResNSC),这是神经谱容量(NSC)的一项改进,旨在根据 Transformer 模型的架构规范更好地预测其性能。这种新方法考虑了累积的残差更新及其对后续层统计数据的影响,比原始 NSC 提供了更准确的预测。在包括 Llama-7B 在内的各种数据集和模型上进行的实验表明,ResNSC-DP 在可比的参数预算下可以实现更低的困惑度和更高的准确性,优于以前的分配策略。
-
FIGFLEX加速器协同设计用于低比特LLM量化
研究人员开发了FIGFLEX,这是一种新颖的混合精度加速器,旨在优化大型语言模型(LLM)的低比特量化。该硬件与量化技术协同设计,以高效处理占主导地位的浮点-整数(FP-INT)通用矩阵乘法工作负载。通过重新构建FP-INT乘法并采用基于误差容忍度分配位宽的混合精度量化器,FIGFLEX在LLaMA-2 7B等模型上实现了比现有方法更高的吞吐量和准确性。
-
FuTransformer 通过 Hopper GPU 上的 FP8 和 INT4 加速 Llama 推理
研究人员开发了 FuTransformer,一种用于 NVIDIA Hopper GPU 上 Llama 式推理的新型 CUDA 实现。该系统通过在预填充阶段采用 FP8 精度,在解码阶段采用 INT4 精度,显著提升了性能,优化了预填充和解码阶段。与现有的 PyTorch FP8 实现相比,FuTransformer 的预填充速度最高可提高 1.48 倍,并且 INT4 解码速度比同类方法快 1.3-2.4 倍,同时对困惑度(per…
-
DAGFormer 通过新颖的拓扑预测器增强 Transformer 连接
研究人员推出了一种新颖的 Transformer 语言模型 DAGFormer,它通过联合训练的拓扑预测器来增强跨层连接。该模型从较早层到较晚层建立直接连接,预测器根据输入 token 动态调整连接强度。DAGFormer 在 WikiText-2 上的困惑度方面表现出显著的改进,在各种参数大小和训练数据量下均优于标准 Transformer 和现有路由架构。该模型在多个评估任务和指令微调方面也表现出增强的性能,同时表现出对结构化剪枝的更大弹性。
-
为旧款GPU上的本地编码测试MoE模型
本文评估了在GTX 1080 Ti GPU上用于本地编码任务的混合专家(MoE)模型。作者测试了几种MoE模型,包括Qwen3.8-Flash-Next和Qwen3.8-35B-A3B-Q4_K_M,评估了它们在自然语言和Go代码数据集上的困惑度,以及使用llama.cpp和llama-bench生成的速度。Qwen3.8-35B-A3B-Q4_K_M模型出人意料地表现最佳,以30 tokens/sec的速度在15分钟内完成了一项编码…
-
新的CACTUS优化器通过保留影响函数来增强LLM剪枝
研究人员开发了CACTUS,一种新颖的优化器,它使用感知曲率的目标来改进大型语言模型的训练后剪枝。该方法旨在保留稀疏模型和密集模型之间的内部梯度对齐,这是传统剪枝技术通常缺乏的特性。CACTUS在LLM-Surgeon等现有方法上展示了显著的加速,并在用于数据选择时,在BIG-Bench Hard等基准测试中表现出改进的性能。
-
DAGFormer通过全局拓扑预测提升Transformer效率
研究人员推出了一种新颖的Transformer架构DAGFormer,通过全局预测跨层连接来提高效率。这种方法与逐层路由方法不同,允许从早期层到后期层的直接连接,并且每个连接的强度根据输入令牌动态控制。DAGFormer在WikiText-2等基准测试中展示了困惑度的显著提高,并且与标准Transformer和其他路由架构相比,在下游任务和指令调优方面表现更好。
-
共振序列模型获得依赖于输入的记忆读出能力
研究人员为共振序列模型开发了一种依赖于输入的读出阶段,增强了其保持长期记忆的能力。此修改允许模型根据当前输入调整其记忆检索,解决了先前固定转换模型的局限性。在 WikiText-2 上的字符级模型实验中,这种新方法显著提高了困惑度得分,尤其是在测试长于训练期间使用的序列时。
-
新的LLM量化方法有望减少内存并加快推理速度 · 跟踪2个来源
两篇新的研究论文介绍了一种新颖的大型语言模型(LLM)量化方法,以减小其内存占用并提高推理速度。SpectrumQuant提出了一种数据感知正交变换方法,可对齐激活值的谱特性,其性能优于现有策略,且计算开销更小。DualQuant提供了一个无校准的框架,用于权重和激活量化,在显著减少内存和提高吞吐量方面取得了有竞争力的准确性,尤其是在较新的块格式方面。
-
CanonQ 框架实现极低比特 LLM 压缩
研究人员开发了 CanonQ,一个用于大型语言模型 (LLM) 极低比特量化的新颖框架。该方法通过采用统一的感知量化训练方法,解决了同时量化权重、激活和 KV 缓存的挑战。CanonQ 将源规范化与任务感知适应分离开来,使用固定的旋转和能量归一化将不同的张量源映射到规范坐标。这使得跨不同层和模型的冻结高斯参考码本得以重用,并通过联合训练使网络适应耦合的量化误差。该框架在 W2A4KV2 压缩下取得了显著的改进,在 LLaMA3 模型上…
-
新方法通过稀疏注意力和剪枝技术加速 LLM 解码 · 跟踪 5 个来源
研究人员正在开发新的方法来加速大型语言模型 (LLM) 推理,主要侧重于优化通常受内存限制的解码阶段。一种方法 SparseDecoding 使用由层激活引导的解码感知剪枝来降低延迟并提高 Llama 和 Qwen 等模型的性能。另一种策略 Attention-Mass Condensation 探索了注意力质量集中如何实现稀疏解码,尽管它指出保留的质量本身并不能保证稳定的决策。此外,稀疏非对称组查询注意力 (SAGA) 等方法将键和…
-
新的QK-Wanda方法通过耦合查询和键来改进LLM剪枝
研究人员开发了QK-Wanda,一种用于剪枝大型语言模型的新颖方法,它改进了现有的Wanda技术。QK-Wanda将线性投影中的查询和键耦合起来,与Wanda相比,显著降低了重建误差。虽然QK-Wanda比Wanda稍慢,但它在Llama 2 70B等模型上展示了实质性的下游性能提升,改善了困惑度和零样本准确率。然而,QK-Wanda的有效性因模型而异,如在Llama 3.1 70B上所示,这表明局部重建误差并不总是整体模型质量的完美预测指标。
-
新的“注意力流形”可对大型语言模型的输出进行可控调节
研究人员开发了一种名为“注意力流形”的新技术,用于引导和修改大型语言模型的行为。这些流形以学习到的B样条曲面的形式实现,根据查询-键交互来调节值向量,比标准的注意力机制提供了更细致的控制。当应用于LLaMA模型时,该方法提高了在WikiText-2上的困惑度,并显著改变了大多数多样化提示的输出,纠正了事实错误,提高了精度,并增加了特异性。学习到的曲面也是可编辑的,允许直接引导模型并创建“注意力墙”来阻止特定的值维度,这可能对AI安全产生影响。