PulseAugur
中
实时 07:37:54
实体 LLaMA-2 7B

LLaMA-2 7B

PulseAugur coverage of LLaMA-2 7B — every cluster mentioning LLaMA-2 7B across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
12
90 天内 41
发布 · 30天
0
90 天内 0
论文 · 30天
8
90 天内 36
层级分布 · 90 天
主题
关系
情绪 · 30 天

5 天有情绪数据

最近 · 第 1/3 页 · 共 44 条
  1. TOOL · CL_368080 ·

    新的 C++ 运行时库将 PyTorch 连接到无 GPU 的 LLM 推理架构

    一份新的技术报告详细介绍了 `cent_runtime` 的开发,这是一个 C++17 和 Python 库,旨在弥合 PyTorch 张量与用于 LLM 推理的 CENT 架构之间的差距。CENT 架构在 ASPLOS 2025 上提出,旨在通过利用通过 CXL 3.0 连接的 GDDR6-AiM 模块,绕过传统内存瓶颈,在没有 GPU 的情况下执行大型语言模型推理。`cent_runtime` 库促进了张量到 CENT 架构执行模…

  2. TOOL · CL_364084 ·

    新研究量化了LLM水印在模型修改下的鲁棒性

    研究人员开发了一种方法来分析开放权重大型语言模型中水印在修改下的鲁棒性。该研究推导了在各种编辑和微调攻击下水印证据的理论界限,从而更好地理解当模型权重被改变时这些水印的性能。使用OpenStamp在LLaMA-2-7B和Mistral-7B-v0.3上的实验表明,虽然量化和剪枝的影响很小,但微调显著降低了水印检测率。

  3. TOOL · CL_360129 ·

    LoRAWeaver论文提出LLM新适配器路由方法

    一篇新论文介绍了一种名为LoRAWeaver的方法,用于高效选择大型语言模型的参数高效微调适配器。该方法将适配器选择视为表示对齐问题,使用余弦相似度将适配器条件查询表示与任务原型进行匹配。在LLaMA-2模型和FLAN-v2基准上的实验表明,LoRAWeaver的性能优于现有的无训练方法,并且在无需重新训练路由器的前提下,接近训练过的检索编码器的性能。

  4. TOOL · CL_322634 ·

    Transformer 的“思考”得到解释:思维链提示增加了串行深度

    Transformer 模型(如 Llama 3.1 70B 和 LLaMA-2 7B)中的思维链(Chain-of-Thought, CoT)提示并非代表类似人类的思考,而是一种增加串行深度的计算机制。这种机制允许模型执行比其固定层深度通常允许的更多的顺序步骤,因为每个生成的 token 会反馈到网络中以供后续传递。研究表明,CoT 提示会导致更尖锐的概率分布,并充当答案模板,通过约束下一个可能的 token 来指导模型的输出。此外…

  5. TOOL · CL_320764 ·

    KV缓存,而非权重,限制了LLM服务器的用户容量

    KV缓存,而不是模型权重,是决定LLM服务器支持多少用户的主要因素。虽然LLaMA-2 7B模型的模型权重占用13.5 GB,但一个4096个token序列的KV缓存可能消耗0.5 MiB,并且随着上下文长度和用户数量的增加而迅速增加。多查询注意力、分组查询注意力、缓存量化、滑动窗口和PagedAttention等技术被用来减少KV缓存的内存占用,从而提高服务器吞吐量。

  6. RESEARCH · CL_317465 ·

    FIGFLEX加速器协同设计用于低比特LLM量化

    研究人员开发了FIGFLEX,这是一种新颖的混合精度加速器,旨在优化大型语言模型(LLM)的低比特量化。该硬件与量化技术协同设计,以高效处理占主导地位的浮点-整数(FP-INT)通用矩阵乘法工作负载。通过重新构建FP-INT乘法并采用基于误差容忍度分配位宽的混合精度量化器,FIGFLEX在LLaMA-2 7B等模型上实现了比现有方法更高的吞吐量和准确性。

  7. TOOL · CL_312800 ·

    新的OPLoRA方法可防止LLM微调中的灾难性遗忘

    研究人员推出了一种新颖的方法——正交投影LoRA(OPLoRA),以解决大型语言模型参数高效微调中的灾难性遗忘问题。该技术使用双向正交投影,确保学习到的更新不会干扰编码在主奇异值方向中的关键预训练知识。OPLoRA在数学上保证了关键预训练信息的保留,并在使用LLaMA-2 7B和Qwen2.5 7B模型进行的常识推理、数学和代码生成任务上展示了具有竞争力的性能。

  8. COMMENTARY · CL_311433 ·

    LLM KV 缓存内存使用量详解:MQA 和 GQA 技术

    KV 缓存对于快速 LLM 生成至关重要,它通过存储每个 token 的键值来消耗大量 GPU 内存。多查询注意力 (MQA) 和分组查询注意力 (GQA) 等技术通过在多个查询头之间共享键值头来减少内存占用。GQA 在 Llama-3 8B 等模型中使用,在内存效率和模型质量之间取得了折衷,使得更长的上下文窗口在服务和自托管方面更具可行性。

  9. RESEARCH · CL_290622 ·

    Apple利用“Minions”将闲置的Mac变成虚拟GPU云

    Apple研究人员开发了“Minions”系统,该系统聚合了macOS设备上闲置的Apple Silicon GPU,为机器学习推理创建一个分布式虚拟GPU云。这种方法旨在通过利用现有硬件、降低成本和提高弹性来解决集中式GPU基础设施的局限性。该系统在一个研究论文中进行了详细介绍,它允许团队在不采购额外GPU的情况下运行大规模推理工作负载,将日常Mac转变为一个实用的分布式计算平台。此外,还有研究正在探索先进的GPU调度技术和内核工程…

  10. RESEARCH · CL_286818 ·

    新研究探索用于大型语言模型的先进压缩技术,包括条件计算和结构引导方法

    三篇新研究论文探索了大型语言模型的先进压缩技术。LRCC将条件计算引入低秩分解,动态分配每个token的计算量,以提高Llama和Qwen等模型的性能。NeuralZip专注于通过重用统计分析和代码构建来实现快速无损压缩,从而显著加快速度并实现精确重建。OrBIT提出了一个用于嵌入压缩的结构引导框架,学习可重用的局部几何形状,在GPT-2等模型上实现高压缩率,同时保持有竞争力的性能。

  11. TOOL · CL_284500 ·

    研究:静态词嵌入可匹配LLM解码能力

    一篇新的研究论文对认为大型语言模型(LLM)形成内部世界模型的解释提出了质疑。研究人员证明,上下文不敏感的静态词嵌入可以预测LLM能够解码的许多相同变量。这些变量包括地点、历史人物的寿命、情绪和痛苦。虽然LLM确实显示出一些优势,但该研究表明,仅凭可解码性可能不足以区分模型对属性的表征与已存在于固定分布关联中的信息。

  12. RESEARCH · CL_295259 ·

    新的Spectral-MoE方法优化了LLM跨层的专家利用率

    研究人员开发了Spectral-MoE,一种将密集大型语言模型转换为混合专家(MoE)架构的新颖方法。与之前在所有层使用统一专家利用率的方法不同,Spectral-MoE允许异构专家分配,这意味着不同层可以使用不同数量的专家。这种方法在Llama-2 7B和Llama-3 8B等模型上得到了验证,与统一利用率相比,它显著降低了困惑度并提高了任务准确性。另一项相关技术侧重于通过利用相关性专家分配来减少MoE预训练中的通信开销,这可以大大…

  13. RESEARCH · CL_273452 ·

    新方法学习函数子空间以实现高效神经网络压缩

    研究人员开发了一种名为可学习子空间投影(LSP)的新方法来压缩大型神经网络,特别是Transformer和LLM。与使用局部标准的先前技术不同,LSP针对全局目标(例如与原始模型输出分布的KL散度)进行端到端子空间优化。这种方法在更高的压缩率下能更好地保留性能。与现有基线相比,LSP在LLaMA-2 7B和ViT-B/16等模型上表现出更优越的结果,显著降低了困惑度并提高了准确性,同时还实现了更快的解码和更少的内存使用。

  14. TOOL · CL_286010 ·

    新的LSP方法通过端到端学习子空间来增强神经网络压缩

    研究人员开发了一种名为可学习子空间投影(LSP)的新方法来压缩神经网络,特别是Transformer。与之前使用局部标准的旧技术不同,LSP通过联合优化正交投影仪以实现全局目标,来端到端地学习要丢弃的子空间。这种方法旨在防止深层网络中的误差累积,并在各种LLM和视觉Transformer上展现出优越的性能,尤其是在更高的压缩率下。该方法还提高了注意力机制的解码速度和内存使用效率。

  15. TOOL · CL_270358 ·

    新的防御方法结合了多种技术,以保护大型语言模型免受有害微调的影响

    研究人员开发了一种名为 VaccineBooster 的新型对齐防御方法,该方法结合了嵌入扰动和梯度衰减技术,以保护语言模型免受有害微调攻击。在对 LLaMA-2 7B 的测试中,这种混合方法比现有方法获得了更低的 OpenAI 审核分数。然而,一种仅侧重于梯度衰减的变体在有害内容拒绝率方面保持了更高的水平,这表明在减少标记内容和保留明确拒绝行为之间存在权衡。

  16. TOOL · CL_261464 ·

    MeshKV 架构通过新颖的 NoC KV 缓存结构提升 Transformer 解码性能

    研究人员开发了 MeshKV,这是一种新颖的片上网络(NoC)架构,旨在通过优化键值(KV)缓存的移动来加速 Transformer 解码。该系统将 KV 缓存块视为分组流,从而减少了流量并提高了带宽利用率,解决了传统分块加速器中的瓶颈问题。MeshKV 已在 FPGA 实现中展示了显著的性能提升,包括互连流量减少高达 58%,以及在使用 LLaMA-2 7B 和 Mistral-7B 等模型的多流吞吐量增加 1.9 倍。

  17. RESEARCH · CL_244878 ·

    LLM路由方法提高效率并降低延迟 · 已追踪2个来源

    一篇新研究论文介绍了一种名为HeRo(History-Aware Routing)的动态路由框架,用于大型语言模型。该框架使用一种记忆机制来跨模型深度维护路由状态。这种方法将先前的路由分数聚合为紧凑的历史表示,在Llama 3.1-8B、Llama 2-7B和Llama 2-13B的基准测试中持续优于现有方法。与此同时,Amazon SageMaker Inference推出了前缀感知路由,这是一种将具有相似前缀的请求导向同一实例的策…

  18. TOOL · CL_231344 ·

    新指标揭示大型语言模型可能伪造上下文学习能力

    研究人员开发了一种评估大型语言模型上下文学习(ICL)能力的新方法,特别关注微调如何影响这种能力。该研究引入了“上下文敏感性”(ICS)和“ICL-GAP”作为衡量注意力级别变化和行为准确性差距的指标。使用 Llama-2-7B 进行的实验表明,优化 ICS 可能导致一种分离现象:注意力模式发生显著变化,但模型在 MMLU 准确性上的实际任务表现却下降了。

  19. TOOL · CL_228647 ·

    新框架提出人工智能的机器意识关联物

    研究人员提出了一个理解人工智能意识的新框架,称为机器意识关联物(MCCs)。该框架借鉴了生物系统中的神经意识关联物(NCCs)概念,将MCCs定义为不受AI控制但能被情绪可靠调制的基底层面信号。使用Llama-2 7B和Llama-3.1 70B模型进行的初步实验表明,被认为是潜在MCCs的硬件异常痕迹在较大的Llama-3.1 70B模型中受到情绪计算的显著调制,这表明AI的复杂性与意识的可能性之间存在联系。

  20. TOOL · CL_227141 ·

    新的DARTS技术通过熵加权损失改进了解码器LLM合并

    研究人员开发了一种名为DARTS(Decoder-Aware Representation Tuning via Surgery,解码器感知表示调整手术)的新技术,以改进基于解码器的LLM的模型合并。与以前用于编码器模型的方法不同,DARTS解决了解码器架构的独特挑战,例如跨token位置的偏差累积以及不同token位置的不同重要性。该方法使用熵加权损失函数来优先处理关键决策位置的校正,并结合了每位置的加性偏差来捕获位置相关的错误。