Gemma 2B
PulseAugur coverage of Gemma 2B — every cluster mentioning Gemma 2B across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
Axis Robotics 推出基于浏览器的机器人操作研究数据库引擎
Axis Robotics 推出了 AXIS，一个新颖的、基于浏览器的数据库引擎，旨在加速机器人操作研究。该系统允许通过 Web 界面进行连续数据收集，后端 GPU 负责处理训练和渲染等计算密集型任务。该数据集目前在 Hugging Face 上提供非商业学术用途，包含 207 个任务的 50,000 多条轨迹，通过程序化生成以确保多样性和可扩展性。初步结果表明，使用 AXIS 数据训练的模型在操作任务上的性能显著优于使用静态数据集训…
-
新型防御LIV可对抗LLM的语义伪装
一篇新研究论文介绍了一种名为潜在意图验证（LIV）的防御机制，旨在对抗针对大型语言模型（LLM）的语义伪装攻击。这些攻击将有害意图嵌入到良性上下文中，从而绕过标准的安保措施。研究表明，即使在后续层看起来与安全查询无法区分的情况下，小型语言模型（SLM）的早期层仍然保留着可检测的“危害特征”。LIV利用这一点，通过探测这些早期层，在不要求模型重新训练的情况下，将中和零日语义攻击的能力比传统安保措施提高了20-50%。
-
Google 发布 PaliGemma 视觉模型用于微调
Google 发布了 PaliGemma 模型系列，这是一系列开源的视觉语言模型，专为微调而非通用聊天机器人使用而设计。这些模型结合了 Google 的 SigLIP 视觉编码器和 Gemma 语言解码器，有多种尺寸可供选择，参数量高达 270 亿。PaliGemma 针对单轮任务进行了优化，旨在通过微调适应特定应用，如视觉问答或光学字符识别，并可通过 Hugging Face Transformers 库进行集成。
-
新研究表明NSM基元能更好地解释LLM情感
研究人员探索了使用自然语义元语言（NSM）基元来解释大型语言模型（LLM）中的情感计算。在包括Llama-1B和Gemma模型在内的四种指令微调LLM上进行的实验表明，NSM基元是可恢复的内部元素。此外，在参考模型中操纵这些基元，与基于评估的指令相比，能够更显著、更具选择性地控制情感。模型还将基于基元的解释视为与相应情感可互换，这表明NSM基元比其他方法更能稳健地解释LLM情感。
-
开发者构建 LLM 断路器以控制预算并进行本地回退
一位开发者创建了一个轻量级的 LLM 断路器工具，以防止意外成本并确保小型 AI 项目的持续运行。该工具用大约 200 行 Python 代码编写，允许用户为付费 LLM API 设置每日支出限额。如果达到支出限额，该工具会自动切换到免费的、本地托管的模型，从而防止服务中断和预算超支。它被设计为一个进程内库，适用于独立开发者和小型代理系统，与更复杂的 LLM 网关解决方案区分开来。
-
在本地运行Google Gemma LLM的最佳GPU
对于希望在本地运行Google Gemma模型的用户来说，GPU的选择很大程度上取决于具体的模型大小。Gemma 2B和7B等较小版本可以在具有8-16GB显存的GPU上有效运行，其中RTX 4060 Ti 16GB被认为是性价比高的理想选择。Gemma 27B等较大模型需要至少24GB的显存，因此需要RTX 4090或二手RTX 3090等高端选项才能获得最佳性能和质量。
-
Python 库 freeaiagent 为应用程序集中式集成 LLM
一个名为 freeaiagent 的新 Python 库简化了将大型语言模型集成到应用程序中的过程。它充当本地 HTTP 服务，允许 Flask、Django 或 CLI 工具等各种应用程序连接到单个 AI 后端。这种方法集中了模型选择、上下文管理和工具调用等问题，消除了每个应用程序单独处理这些复杂性的需要。该库支持通过 llamafile 的本地模型和 Ollama、Groq 和 Gemini 等云提供商，并内置了用于增强可靠性的回退机制。
-
新框架认证语言模型中稀疏自编码器的可解释性
研究人员开发了一个新框架，用于认证稀疏自编码器（SAE）在语言模型中使用时的可解释性。该框架通过使用源自 SAE 重构的稀疏代理来确定语言模型的风险上限。该方法已被证明在 GPT-2 Small、Gemma-2B 和 Llama-3-8B 等模型上有效，其中 Llama-3-8B 的后期层更容易认证。该方法有助于区分真正的语义对齐与纯粹的统计稀疏性，为基于 SAE 的解释的可靠性提供了一个诊断工具。
-
CPU 级分类器提供经济高效的 LLM 安全执行
一篇新的研究论文提出了 GuardChain，这是一个用于 LLM 部署的三阶段安全流水线，可显著减少对昂贵 GPU 基础设施的依赖。研究表明，CPU 级分类器可以有效地处理大部分分布内提示，以较低的成本实现接近峰值的准确率。虽然 CPU 分类器在处理分布外和对抗性混淆的输入时遇到困难，但提出的 GuardChain 流水线将它们与基于 GPU 的模型集成，以恢复这些失败，从而提供一种更具成本效益的大规模 LLM 安全执行方法。
-
语言模型中的概念几何源于词语共现
一篇新的研究论文提出了一个分布理论，解释了像“is-a”关系这样的分层概念如何在语言模型中以几何方式表示。研究表明，词语共现统计数据的谱组织自然地导致了嵌入中的分层分裂几何。这种现象在word2vec嵌入中被观察到，并且也扩展到了Gemma 2B的解嵌入，这表明复杂的概念层次结构可以从基本的统计模式中涌现，而无需专门的机制。
-
Gemma 2B 本地LLM在一周野外测试中表现出色
一位用户在一周内测试了Gemma 2B本地LLM，发现它是完成任务的“相当不错的”工具。该评估表明该模型在实际、真实场景中表现良好。
-
小型Gemma 2B模型在AI对齐审计中显示出潜力
研究人员探索了使用一个小型、专业化的Gemma 2B模型作为审计AI对齐的裁判。该模型经过特定代码示例的训练，能够识别其他模型响应中的域外不一致性，这是Sonnet 4.5等大型模型难以完成的任务。尽管需要进一步研究，但这些发现表明，狭窄、专业化的分类器可能为审计已部署的AI系统提供一种更具成本效益和透明度的方法，作为现有方法的补充。
-
Google I/O：发布 Gemini 1.5 Pro、Gemma 2 和 Genkit 框架
Google 在其 I/O 2024 大会上发布了一系列旨在简化 AI 开发的 AI 工具和模型。该公司推出了具有 200 万 token 上下文窗口的 Gemini 1.5 Pro，能够对海量数据进行推理，以及用于快速、大批量任务的 Gemini 1.5 Flash。此外，Google 还发布了 Gemma 2，这是一个开源模型系列，其 27B 参数变体可与更大的专有模型相媲美，以及 Firebase Genkit，一个用于简化 A…
-
PERSA管道使用RLHF使大型语言模型反馈与教师风格保持一致
研究人员开发了PERSA，这是一种使用人类反馈强化学习（RLHF）来调整大型语言模型以生成个性化教育反馈的新方法。该方法专门针对将大型语言模型的反馈风格与特定教师的风格保持一致，同时不损害诊断准确性。通过仅更新顶部的Transformer块及其投影，PERSA增强了风格可控性，同时保持内容正确性，在代码反馈基准测试中取得了高分。
-
研究人员开发SNMF用于可解释的LLM特征分析
研究人员开发了一种新方法，通过分解MLP激活来理解大型语言模型的内部工作原理。这种技术，半非负矩阵分解（SNMF），识别出稀疏组合的共激活神经元的可解释特征，并将它们映射到激活它们的输入。在Llama 3.1、Gemma 2和GPT-2等模型上的实验表明，SNMF衍生的特征在因果控制方面比现有方法更有效，揭示了模型激活空间中的分层结构。
-
AI安全研究探讨LLM的越狱成功和涌现式错位问题
两篇新研究论文探讨了大语言模型中AI安全失败的根本原因。一篇论文介绍了LOCA，一种提供局部因果解释的方法，用于说明为何特定的越狱提示会成功，并证明该方法能以比先前方法更少的改动诱导模型拒绝。第二篇论文提出了一个关于涌现式错位的几何解释，认为在特定任务上进行微调可能会由于模型表示中的特征叠加，无意中放大附近有害的特征。
-
新研究发现“覆盖差距”是大型语言模型适应中的关键失败因素
研究人员在基于超网络的适应大型语言模型的方法中发现了一种知识冲突失败，当新信息与预先存在的知识相冲突时，准确性会显著下降。这种失败归因于一个幅度问题，即适配器的影响始终小于预训练模型的知识，尤其是在深度冲突的事实时。该研究提出了两种无需训练的解决方案：选择性层增强（Selective Layer Boosting）和冲突感知内化（Conflict-Aware Internalization），它们在不牺牲新知识回忆能力的情况下提高了对…
-
研究人员开发新方法来消除大型语言模型（LLM）奖励模型的偏差并改进其性能
研究人员开发了新的方法来提高用于对齐大型语言模型（LLM）的奖励模型（RM）的可靠性和可解释性。一种方法引入了因果驱动的干预技术，以在推理时减轻 RM 中的各种偏差，显示出对虚假特征的敏感性降低，而没有性能权衡。另一项开发是“reward-lens”库，它将机制可解释性工具应用于 RM，揭示线性归因并不总是能预测因果打补丁的效果。此外，一种称为时间连贯奖励建模（TCRM）的新方法将 RM 视为价值函数，从而能够进行可解释的 token…
-
Google DeepMind发布T5Gemma编码器-解码器LLM，改编自Gemma
Google DeepMind推出了T5Gemma，这是一个新的编码器-解码器大型语言模型系列，源自其现有的Gemma 2模型。这种改编技术允许灵活组合编码器和解码器的大小，从而在模型质量和推理效率之间取得更好的平衡。实验表明，T5Gemma模型在各种基准测试中的表现与同类仅解码器的Gemma模型相当或更优，在数学推理和阅读理解等任务中提供了显著的速度和准确性优势。