Llama-7B
PulseAugur coverage of Llama-7B — every cluster mentioning Llama-7B across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新研究探索先进的LLM压缩技术 · 已追踪2个来源
两篇新研究论文提出了先进的大型语言模型（LLM）压缩方法，以减小其规模和计算需求。第一篇论文介绍了Leech Lattice Vector Quantization (LLVQ)，该方法利用高维格实现最优球体打包，取得了最先进的压缩性能，优于Quip#和QTIP等现有技术。第二篇论文提出了LACE-SVD，一个无损奇异值分解（SVD）框架，该框架根据层级损失敏感度分配秩预算，并校正残差流中的累积误差，在LLaMA-7B上的表现优于Do…
-
新研究探索非线性缩放和几何优化以实现高效LLM训练
两篇新研究论文探讨了更高效训练大型语言模型（LLM）的方法。第一篇论文《关于LLM训练学习率缩放的非线性研究》调查了当前学习率外推法的局限性，并提出最优学习率在更大规模下呈现向上曲率，这可以通过关注有效学习率或数据外推来缓解。第二篇论文《面向高效LLM训练的几何原理随机优化》引入了新算法GrassWalk和GrassJump，它们利用梯度子空间的几何特性来提高优化效率，在LLaMA和Qwen等模型上取得了最先进的成果。
-
Jetson Orin NX 为 Hermes Agent 提供 65K 上下文和快速推理能力
一位用户已成功配置 Jetson Orin NX 以运行 Hermes Agent，并取得了令人印象深刻的性能指标。该配置优先考虑静音和美观，同时在文本生成方面实现了超过 10 token/秒，在提示处理方面实现了 300 token/秒。该设置支持至少 65,000 token 的上下文窗口，具体测试显示 Gemma 4 26B 模型在 60,000 token 上下文下实现了 10.21 token/秒。
-
新框架通过建模任务关系优化大型语言模型微调
研究人员开发了一个名为TaskPGM的新框架，用于优化大型语言模型的微调过程。该方法使用基于能量的任务模型，将任务表示为马尔可夫随机场，以捕捉任务间的关系和效用。通过平衡覆盖率与冗余度，TaskPGM改进了标准的混合策略，并提供了对任务交互的可解释见解，在LLaMA-7B和Qwen2-7B等模型上展示了增强的性能。
-
GenFT 方法增强基础模型微调
研究人员推出了一种新颖的预训练基础模型参数高效微调方法 GenFT。GenFT 利用基于模型现有权重生成的确定性权重生成器来产生任务特定的更新。该方法通过带有非线性激活的行和列变换从预训练权重中提取结构化模式，旨在提高在自然语言处理和计算机视觉的各种基准测试中的性能。
-
FlashNorm 加速 Transformer 推理，优化归一化层
研究人员开发了 FlashNorm 技术，用于加速 Transformer 模型中的归一化层。通过重构 RMSNorm 并将其权重折叠到后续的线性层中，FlashNorm 实现了归一化和矩阵乘法的并行执行，从而降低了延迟。该方法还可以消除 Gemma 和 DeepSeek-V2 等架构中的预注意力 RMSNorm 层，简化实现并减少参数数量。