实体
Gemma 2 27B
Gemma 2 27B
PulseAugur coverage of Gemma 2 27B — every cluster mentioning Gemma 2 27B across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
道德训练增强了大型语言模型的鲁棒性，但可能降低伦理准确性
研究人员调查了道德推理训练对大型语言模型的影响，特别是 Gemma-2-27B/9B 和 Llama-3.1-8B。他们发现，虽然道德训练增强了合作能力和对抗角色扮演攻击的鲁棒性，但它也可能降低在伦理任务上的准确性。该研究采用了对抗性近端策略优化和表征分析等技术，以了解道德训练如何影响模型行为和内部表征，揭示了鲁棒性提升部分是线性的，部分是电路分布式的。
-
新的“模式化”技术可消除 AI 奖励模型的偏差，并显示跨模型迁移能力
研究人员开发了一种名为“模式化”（patterning）的新技术，用于消除 AI 训练中使用的奖励模型的偏差。该方法根据偏好对基准损失的影响重新加权，从而有效减少风格偏差。将该技术应用于在 Skywork-Reward-Preference v0.2 上训练的 Gemma 2 9B Instruct 模型，在 RM-Bench Hard 基准测试中取得了显著改进，优于先前的方法。学习到的权重还显示出向其他 Gemma 模型迁移的能力，…
-
Google 的 Gemma 2 模型通过高效架构实现高性能
Google 的新款 Gemma 2 模型，特别是 27B 参数版本，正通过架构创新而非仅仅增加模型大小来展示显著的性能提升。这些模型采用了混合注意力机制，结合了局部滑动窗口注意力和全局注意力，以提高效率和上下文感知能力。此外，分组查询注意力 (GQA) 和小型模型中的知识蒸馏等技术也为其增强的性能和开发者可访问性做出了贡献。