llama2-7b
PulseAugur coverage of llama2-7b — every cluster mentioning llama2-7b across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
LLAMA2 7B 模型适配电子商务赞助搜索，超越 GPT-4
研究人员通过使用低秩适配 (LoRA) 技术适配 LLAMA2 7B 模型，开发了一个先进的电子商务赞助搜索广告相关性模型。该微调模型在广告相关性分类中达到了 89.43% 的准确率，优于基线模型和 GPT-4。此次适配提高了搜索精度、运营效率和隐私性，为在线市场带来了显著改进。
-
研究人员详述 Transformer 语言模型中的反分词过程
研究人员详述了 Transformer 语言模型（其操作基于子词片段）如何将这些片段聚合为词语级别表示的过程。他们识别出一个主要发生在早期到中期层的两阶段反分词过程，涉及注意力机制传递特定于标记的信号，以及多层感知机（MLP）将这些信号与局部嵌入进行组合。该机制在八个不同家族的十二个模型中均被发现是一致的，其过程的深度因位置编码类型的不同而异。
-
单个LLM层主导零阶微调
研究人员发现，在使用零阶（ZO）优化时，微调大型语言模型（LLM）的单个层与微调整个模型一样有效。通过在训练前分析激活值异常值来识别出的这个主导层，在各种任务和模型系列中，其效果始终能媲美甚至超越全模型ZO微调。主导层的有效性源于其高扰动敏感性和在残差流中的早期位置，这使得优化信号能够高效传播。该方法显著加快了速度，实验显示训练速度提高了4.52倍，同时保持或提高了性能。
-
GPU显存带宽对本地LLM速度至关重要，超越VRAM
对于在本地运行大型语言模型而言，GPU显存带宽比VRAM容量更为关键。更高的带宽使GPU能够更快地处理数据，防止其因等待VRAM信息而成为瓶颈。这种差异可以显著提高令牌生成速度，一些显卡仅凭带宽差异就能实现双倍性能，即使计算规格相似。
-
先压缩再适配？不，通过任务感知子空间联合进行
研究人员推出了一种名为 JACTUS 的新框架，该框架将参数高效微调 (PEFT) 和低秩压缩统一起来，用于适配大型预训练模型。与顺序方法不同，JACTUS 通过形成子空间的正交联合并执行投影低秩近似来联合优化压缩和适配。这种方法旨在防止压缩子空间与下游目标之间的失配，从而实现更高效、更鲁棒的模型调整。