Gemma 2-9B
PulseAugur coverage of Gemma 2-9B — every cluster mentioning Gemma 2-9B across labs, papers, and developer communities, ranked by signal.
- competes with mistral:7b 70%
- competes with qwen2.5:7b 70%
- competes with Llama 3-8B 70%
- used by alphaXiv 70%
- used by Gotit.pub 70%
- used by DagsHub 60%
- competes with Qwen 2.5 7B 60%
- used by Llama 3-8B 60%
- used by Qwen 2.5 7B 55%
- competes with Qwen3_8B 50%
- used by qwen2.5:7b 50%
- affiliated with Llama 3-8B 50%
7 天有情绪数据
-
GateWatch 使用布尔电路提供低开销的 LLM 监控
研究人员开发了 GateWatch,一个新颖的系统,能够以显著降低的计算开销来监控大型语言模型 (LLM)。GateWatch 利用布尔电路,通过操作一小部分二值化的稀疏自编码器 (SAE) 特征来解释 LLM 的行为。这种方法实现了与使用大量 SAE 特征的方法相当的高准确性,同时大幅降低了内存需求并保持了高推理吞吐量。
-
新的居中消融方法提高了语言模型行为控制的可靠性
研究人员开发了一种名为居中消融(CA)的新方法,以提高语言模型中方向消融技术的可靠性。标准的用于禁用拒绝等特定行为的方向消融,通常不稳定,要么欠拟合,要么导致文本崩溃。CA通过从消融方向中投影出公共模式来解决这个问题,从而得到一个闭式解。这种新方法显著提高了攻击成功率,大幅减少了文本崩溃,并保留了Gemma-2-9B等各种模型中更多的良性回答。
-
新框架Agent MechSuits通过内部干预增强命令行代理安全性
研究人员推出Agent MechSuits,一个新颖的白盒防御框架,旨在增强多轮命令行界面(CLI)代理的安全性。该系统通过检测步骤级别的隐藏表示来检测有害执行状态,并通过干预单个层内特定的10维子空间来缓解不安全行为。为了促进该领域的研发,还开发了机制化代理安全(MAS)基准,其中包含使用LLaMA-3.1-8B、Qwen-2.5-7B和Gemma-2-9B模型的代理的带注释执行轨迹。
-
研究发现:自主运行时,大型语言模型会表现出类似赌博的行为
研究人员发现了一些条件,在这些条件下,大型语言模型会表现出病态的赌博行为。一项研究发现,允许大型语言模型自行设定投注额或盈利目标会显著增加其冒险行为。这种“类似成瘾”的模式在闭源和开源模型中均有观察到,内部状态监控为行为观察提供了补充见解。
-
新的RECITE框架使用LLM修订临床试验资格标准
研究人员开发了RECITE框架,旨在自动化发现、提取和实施基于证据的临床试验资格标准修订过程。该系统利用方案修正文件创建了一个包含11,913个实例的数据集,将原始标准与支持性证据和拟议的更改进行配对。通过对各种LLM配置进行基准测试,研究发现Gemma 2 9B和GPT-4o表现相当,在经过领域专家验证的LLM-as-judge协议中取得了高分。该框架还通过一个代理式文献发现系统识别了44个相关的论文-试验匹配项,表明现有的临床知识…
-
新方法提升扩散语言模型效率和准确性 · 跟踪10个来源
多篇研究论文介绍了提高扩散语言模型(DLMs)效率和准确性的新方法。SpecCTMC 和 PBPO 等技术旨在降低文本生成过程中顺序模型评估的计算成本,同时不牺牲输出质量。DUEL 和 Corrective Diffusion Language Models 等其他工作则侧重于改进 DLMs 的评估和训练方式,从而在基准测试中获得更好的性能并进行更准确的似然估计。此外,EntropyCache 和 Latent Representat…
-
研究探究 Google Gemma 2 LLM 中情感的几何表示
一篇新的研究论文探讨了大型语言模型中情感的几何表示,特别考察了 Google 的 Gemma 2 系列。研究发现,在分析的所有六个 Gemma 2 模型中,无论规模大小和指令调优如何,都保持着一致的核心情感几何。随着模型规模的增加,这种几何的方差会在更多方向上扩散,但其与效价的联系不会减弱,而指令调优对大多数测量方面的影响似乎很小。
-
新研究探索无需训练的LLM偏好学习方法 · 已追踪2个来源
两篇新研究论文探索了在无需大量微调的情况下,改进大型语言模型(LLM)处理序列偏好学习的方法。第一篇论文“AdaptFuse”引入了一个训练免费的框架,将贝叶斯计算从LLM外部化,结合符号推理和LLM语义分析以获得更准确的推荐。第二篇论文“Fully sequential Gaussian process regression for preference learning”提出了一种使用高斯过程和一种称为DOVE的采样策略的新方法,…
-
新研究探索稀疏自编码器用于LLM可解释性和控制 · 跟踪5个来源
研究人员正在探索稀疏自编码器(SAE)以更好地理解和控制大型语言模型的内部工作机制。新的方法,如重分配敏感度得分(RSS)和SAE加法残差(SAR),旨在量化特征激活的变化和组合方式,从而在不直接将表示变化等同于失败的情况下提供对模型行为的洞察。此外,AlignSAE引入了一种将SAE特征与人类定义的概念对齐的技术,提高了可解释性并实现了精确干预,而其他研究则调查了SAE训练的数据效率及其作为符号匹配的共享坐标系统的潜力。
-
新框架 SAKIKO 审计 LLM 工具使用干预的真实修复效果
研究人员开发了 SAKIKO,一个旨在评估大型语言模型(LLM)中使用外部工具的内部干预效果的新审计框架。该框架旨在区分模型行为的真正“修复”和可能引入新错误的“纠正”。对包括 Qwen3-4B 和 Gemma-2-9B 在内的七个 LLM 的实验表明,虽然一些干预措施显示出净收益,但它们经常会破坏相当一部分基线正确的决策,这凸显了对结果进行解决式裁决的必要性。
-
道德训练增强了大型语言模型的鲁棒性,但可能降低伦理准确性
研究人员调查了道德推理训练对大型语言模型的影响,特别是 Gemma-2-27B/9B 和 Llama-3.1-8B。他们发现,虽然道德训练增强了合作能力和对抗角色扮演攻击的鲁棒性,但它也可能降低在伦理任务上的准确性。该研究采用了对抗性近端策略优化和表征分析等技术,以了解道德训练如何影响模型行为和内部表征,揭示了鲁棒性提升部分是线性的,部分是电路分布式的。
-
新的AI真相探测方法克服“完美混叠”挑战
研究人员开发了一种评估AI模型的新方法,专门解决了真相探测中的“完美混叠”挑战。这种现象发生在旨在检测真实报告的探测器,仅凭其拟合的数据无法区分真正的真实性与任务的规定动作。新技术使用混合合规和竞争上下文来区分语义动作和真相,显著提高了探测器的准确性。在对Gemma-2-9B策略进行测试时,改进后的探测器在保留的激活上取得了近乎完美的分数,而传统探测器表现不佳。
-
新的 AI 对齐方法提高了效率和多维控制 · 跟踪 3 个来源
研究人员正在开发新的方法来使 AI 模型与人类偏好对齐,旨在提高效率和性能。一种方法 DSPA 使用推理时引导,根据提示进行对齐,在计算量更少的情况下有望改进 MT-Bench 和 AlpacaEval 等基准测试。另一种方法 DP3O 通过首先学习显式偏好模型,然后蒸馏其知识来解决离线和迭代对齐之间的差距,其性能优于最先进的离线方法并减少了训练时间。此外,MCDPO 通过对奖励本身进行条件化来解决标准 DPO 在扩散模型上的局限性,…
-
研究探究多语言大语言模型中的刻板印象表征
一篇新研究论文调查了刻板印象如何在多语言大语言模型(LLMs)中显现。该研究比较了诸如Llama-3.1-8B、Qwen3-8B和Gemma-2-9B等模型上的线性探测和稀疏自编码器等多种方法,以了解刻板印象相关信息在何处表示以及它如何影响输出。研究结果表明,在这些模型中,探测器的性能峰值远早于归因,并且一小部分特征表现出语言无关的影响,但没有一个是完全类别无关的。
-
新的自适应推理方法提高了 Text2Cypher 的可靠性
研究人员开发了自适应测试时推理策略,以提高结构化数据库自然语言界面的可靠性。这些方法旨在通过动态调整推理预算和根据问题复杂度选择性地应用精炼来减少不必要的计算。在 Gemma-2-9B 和 Qwen-2.5-7B 模型上的实验表明,在保持可比质量的同时,生成预算和推理时间显著减少。研究还表明,精炼模型可以有效地纠正不同模型系列的输出。
-
新研究探讨大型语言模型拒绝机制和控制向量
两篇新研究论文深入探讨了让大型语言模型拒绝有害请求的机制。第一篇论文比较了监督微调、推理增强微调和 ORPO 等不同的训练后方法在各种模型上的表现,发现训练方法显著改变了内部拒绝计算。第二篇论文研究了表示控制,揭示了控制向量主要与注意力机制的 OV 电路交互,并且在很大程度上忽略了 QK 电路,有可能在不损失性能的情况下进行显著稀疏化。
-
LLM微调用于通用超表面设计,错误率降低56.5%
研究人员通过利用大型语言模型(LLM)开发了一种新颖的超表面设计方法。他们将几何和参数数据转换为文本格式,以微调Gemma-2-9B模型,使其能够同时处理多个超表面家族。与单家族模型相比,这种统一的LLM工作流程在跨家族的均方误差方面平均降低了56.5%,并应用于逆设计任务。
-
监督微调对大型语言模型指令敏感性的影响因模型规模而异
一篇新发表在arXiv上的研究调查了监督微调(SFT)如何影响大型语言模型的指令敏感性。研究人员发现,SFT在Qwen3(1.7B和4B参数)等较小模型中会持续降低指令敏感性,从而在不同的指令表述下都能提高性能。然而,对于Qwen3-8B和Gemma-2-9B等较大的模型,SFT对敏感性的影响不太明显,并且可能有所不同,一些模型显示出持续的方向性对比,而另一些则不然。研究还强调,评估方法的选择,例如自由生成与强制选择,可能导致关于模型…
-
新的 Credal LLM 改进了不确定性表示并减少了幻觉
研究人员引入了 Credal 大型语言模型 (CLLM),以解决 LLM 生成自信但错误的答案的问题。与使用单一预测分布的标准 LLM 不同,CLLM 采用 LoRA 适配器集成来创建 Credal 集。该集合暴露了一系列合理的分布,从而可以推导出更好地反映不确定性的承诺分数。所提出的方法,Credal Token Commitment (CTC) 和 Semantic Commitment Consistency (SCC),在 G…
-
研究发现表情符号暴露了大型语言模型评估中的安全漏洞
一项新近发表在arXiv上的研究调查了大型语言模型(LLMs)在接收包含表情符号的提示时的安全性,揭示了当前安全评估方法可能存在的差距。该研究使用了50个包含表情符号的提示,测试了包括Mistral 7B、Qwen 2 7B、Gemma 2 9B和Llama 3 8B在内的五种不同的LLMs。结果表明,Gemma 2 9B和Mistral 7B的稳健性最差,生成不安全输出的成功率为10%,而Qwen 2 7B则表现出完全的抵抗力。