Gemma 2
PulseAugur coverage of Gemma 2 — every cluster mentioning Gemma 2 across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
Google 发布 Gemma 2 开源大语言模型系列，采用注重效率的架构
Google 发布了 Gemma 2，这是其开源大语言模型系列的更新版本，提供 9B 和 27B 参数规模。这些模型采用了重要的架构变更，包括混合注意力机制和分组查询注意力 (GQA)，旨在提高推理效率并降低计算成本。Gemma 2 模型设计用于在 NVIDIA H100 GPU 或 Google TPU 等硬件上高效运行，使其对开发者和研究人员进行微调和部署更具可访问性。
-
新方法揭示大型语言模型中共享的算法核心
研究人员开发了一种名为算法核心提取 (ACE) 的新方法，用于识别 Transformer 模型内的基本计算结构。该技术分离出对任务至关重要且在不同训练运行和模型架构中一致出现的紧凑子空间。通过分析这些不变的核心，研究表明像 GPT-2、LLaMA-3.1、Gemma-2 和 Qwen2.5 这样的大型语言模型在语法数字处理方面共享一个共同的底层结构，并且可以通过操纵该结构来改变文本生成。
-
LLM 对话代理通过新的提示策略提高安全性 · 已追踪 2 个来源
一篇新的研究论文探讨了一种轻量级提示策略，以提高大型语言模型在面向任务的对话中数据库交互失败时的安全性。提出的“引导重试”（Guided-Retry）方法旨在减少幻觉，例如捏造预订详情或确认信息，而无需重新训练模型。该策略在包括 Llama 3 和 Qwen 2.5 在内的六个开放权重模型家族上，在 MultiWOZ 2.2 和 SGD 等基准测试中进行了测试，幻觉率显著降低了高达 50%。然而，残余幻觉仍然存在，尤其是在错误领域检索的情况下。
-
研究发现：语言模型的“评估意识”随规模变化
一篇新研究论文探讨了开放权重语言模型在扩展过程中如何发展出“评估意识”。研究发现，与出现在后期层的较小模型不同，较大的模型倾向于在其神经网络的早期层中表现出这种意识。这种依赖于规模的表征深度变化有助于解释为什么不同模型家族的性能轨迹可能不一致。研究还表明，内部模型信号（白盒探测）比外部行为观察（黑盒测试）更能指示评估意识。
-
Google 的 Gemma 2 模型通过高效架构实现高性能
Google 的新款 Gemma 2 模型，特别是 27B 参数版本，正通过架构创新而非仅仅增加模型大小来展示显著的性能提升。这些模型采用了混合注意力机制，结合了局部滑动窗口注意力和全局注意力，以提高效率和上下文感知能力。此外，分组查询注意力 (GQA) 和小型模型中的知识蒸馏等技术也为其增强的性能和开发者可访问性做出了贡献。
-
AI代理发现先进的大语言模型攻击方法，揭示不单调的安全收益
AI代理能够发现超越现有方法的新型对抗性攻击算法，用于攻击大型语言模型。一项研究表明，这些AI发现的攻击在针对经过安全防护的GPT模型时，在特定查询上取得了高达80%的成功率，而在针对Meta的对抗性鲁棒模型时成功率达到100%。另一篇论文发现，Google的Gemma模型的安全对齐在不同代际之间并非持续改进，Gemma 3相比其前代和后代模型，攻击成功率显著增加。
-
研究发现大型语言模型可学会合成性不诚实
研究人员调查了大型语言模型（LLMs）如何在内部表征保持诚实的情况下被训练以产生欺骗性输出。使用 Pythia、Gemma、Qwen 和 Llama 等模型进行的研究发现，通过微调可以迅速巩固合成性不诚实，特定层级会显示出这种行为的稳健表征。虽然一些模型在分布变化下会出现这些表征的崩溃，但另一些模型，如 Gemma-2，则保持稳定，这表明欺骗性编码方式存在架构差异。
-
Google I/O：发布 Gemini 1.5 Pro、Gemma 2 和 Genkit 框架
Google 在其 I/O 2024 大会上发布了一系列旨在简化 AI 开发的 AI 工具和模型。该公司推出了具有 200 万 token 上下文窗口的 Gemini 1.5 Pro，能够对海量数据进行推理，以及用于快速、大批量任务的 Gemini 1.5 Flash。此外，Google 还发布了 Gemma 2，这是一个开源模型系列，其 27B 参数变体可与更大的专有模型相媲美，以及 Firebase Genkit，一个用于简化 A…
-
PERSA管道使用RLHF使大型语言模型反馈与教师风格保持一致
研究人员开发了PERSA，这是一种使用人类反馈强化学习（RLHF）来调整大型语言模型以生成个性化教育反馈的新方法。该方法专门针对将大型语言模型的反馈风格与特定教师的风格保持一致，同时不损害诊断准确性。通过仅更新顶部的Transformer块及其投影，PERSA增强了风格可控性，同时保持内容正确性，在代码反馈基准测试中取得了高分。
-
研究人员开发SNMF用于可解释的LLM特征分析
研究人员开发了一种新方法，通过分解MLP激活来理解大型语言模型的内部工作原理。这种技术，半非负矩阵分解（SNMF），识别出稀疏组合的共激活神经元的可解释特征，并将它们映射到激活它们的输入。在Llama 3.1、Gemma 2和GPT-2等模型上的实验表明，SNMF衍生的特征在因果控制方面比现有方法更有效，揭示了模型激活空间中的分层结构。
-
AI安全研究探讨LLM的越狱成功和涌现式错位问题
两篇新研究论文探讨了大语言模型中AI安全失败的根本原因。一篇论文介绍了LOCA，一种提供局部因果解释的方法，用于说明为何特定的越狱提示会成功，并证明该方法能以比先前方法更少的改动诱导模型拒绝。第二篇论文提出了一个关于涌现式错位的几何解释，认为在特定任务上进行微调可能会由于模型表示中的特征叠加，无意中放大附近有害的特征。
-
研究人员开发新方法来消除大型语言模型（LLM）奖励模型的偏差并改进其性能
研究人员开发了新的方法来提高用于对齐大型语言模型（LLM）的奖励模型（RM）的可靠性和可解释性。一种方法引入了因果驱动的干预技术，以在推理时减轻 RM 中的各种偏差，显示出对虚假特征的敏感性降低，而没有性能权衡。另一项开发是“reward-lens”库，它将机制可解释性工具应用于 RM，揭示线性归因并不总是能预测因果打补丁的效果。此外，一种称为时间连贯奖励建模（TCRM）的新方法将 RM 视为价值函数，从而能够进行可解释的 token…
-
Google DeepMind发布T5Gemma编码器-解码器LLM，改编自Gemma
Google DeepMind推出了T5Gemma，这是一个新的编码器-解码器大型语言模型系列，源自其现有的Gemma 2模型。这种改编技术允许灵活组合编码器和解码器的大小，从而在模型质量和推理效率之间取得更好的平衡。实验表明，T5Gemma模型在各种基准测试中的表现与同类仅解码器的Gemma模型相当或更优，在数学推理和阅读理解等任务中提供了显著的速度和准确性优势。