Gemma 2-2B
PulseAugur coverage of Gemma 2-2B — every cluster mentioning Gemma 2-2B across labs, papers, and developer communities, ranked by signal.
- used by Sparse Autoencoders 90%
- instance of Gemma 2 9B 90%
- used by CatalyzeX 70%
- used by Gotit.pub 70%
- used by DagsHub 70%
- used by alphaXiv 70%
- instance of Gemma 3:1B 70%
- instance of CatalyzeX 70%
- developed Sparse Autoencoders 70%
- affiliated with Llama-3.2:1b 70%
- used by arXiv 70%
- used by ScienceCast 60%
3 天有情绪数据
-
New Locket Framework Enhances LLM Privacy and Access Control
研究人员开发了一个名为 Locket 的新框架，以增强大型语言模型 (LLM) 的安全性和隐私性。Locket 使用轻量级适配器，每个适配器都与特定的访问策略相关联，并使用一个采用学习到的密钥入口令牌来路由请求的门控模块。该系统允许对私有数据的访问进行细粒度控制，从而实现诸如 PII 屏蔽或差分隐私等功能，而不会显著影响模型的效用。实验表明，Locket 在获得授权时，性能与在原始数据上进行微调相当，同时在未经授权时能有效减少 PII 泄露。
-
Gemma-2-2B 在叙事填空基准测试中表现优于更大的大型语言模型
引入了一个新的叙事填空基准测试，旨在评估大型语言模型（LLMs）在故事中重建缺失句子的能力。该基准测试包含四种叙事类型，约9.2K个实例，用于测试20个开源LLMs。出人意料的是，模型规模与性能不相关；Gemma-2-2B 获得了最高的定性分数，超越了 DeepSeek-Qwen-32B 和 LLaMA-3.3-70B 等更大的模型。明确的推理技术仅提供了边际改进，表明叙事特征和长度是当前LLMs任务难度的更重要因素。
-
小型语言模型通过新的SiFR层在旧手机上实现了10/10的任务成功率
一个名为SiFR（系统信息过滤与检索）的新层使小型语言模型能够在旧的移动设备上执行复杂任务。研究人员展示了一个在2017年三星Note 8上运行的400MB Qwen3-0.6B模型，在实时浏览器中成功完成了10/10的任务，而没有SiFR层时则完全失败。该层显著减少了处理时间和令牌使用量，使得在资源受限的硬件上运行LLM应用更加可行。
-
新研究探讨SAE的局限性并探索分层结构
近期研究探讨了稀疏自编码器（SAE）及其相关技术在理解和处理复杂数据方面的局限性和进展。一篇论文研究了SAE在组合泛化方面遇到的困难，认为字典学习是关键瓶颈，而非推理过程本身。另一项研究提出了一种有损压缩文本自编码器，该自编码器在保持语义理解以用于下游任务的同时，实现了具有竞争力的压缩率。此外，关于语音处理的研究表明，使用路由SAE可以区分语言和副语言信息，并且引入了一种名为Tree SAE的新方法来更有效地学习分层特征结构。最后，一…
-
为摩洛哥阿拉伯语和Arabizi方言开发了新的大语言模型
一位开发者对两个开源大语言模型SILMA-9B-Darija和SILMA-2B-Darija进行了微调，以更好地理解和生成摩洛哥阿拉伯语（Darija）及其非正式的Arabizi书写形式。这些模型在一个包含超过46,000条摩洛哥对话和指令的自定义数据集上进行了训练，在涵盖当地词汇、历史和谚语的基准测试中表现优于现有的Gemma-2和Llama-3.1等模型。
-
新框架为大语言模型可解释性提供形式化保证
一个新形式化验证框架已被开发出来，以解决大语言模型中机械可解释性的脆弱性。研究人员证明，在像GPT-2 small、Gemma、Llama和Qwen这样的模型中，微小的输入变化会极大地改变替换网络识别出的可解释特征。所提出的框架为对抗性场景中的忠实度差距提供了可靠的上限，并且在集成到训练中时，可以为安全审计员恢复可靠的特征级解释。
-
新的 AI 对齐方法提高了效率和多维控制 · 跟踪 3 个来源
研究人员正在开发新的方法来使 AI 模型与人类偏好对齐，旨在提高效率和性能。一种方法 DSPA 使用推理时引导，根据提示进行对齐，在计算量更少的情况下有望改进 MT-Bench 和 AlpacaEval 等基准测试。另一种方法 DP3O 通过首先学习显式偏好模型，然后蒸馏其知识来解决离线和迭代对齐之间的差距，其性能优于最先进的离线方法并减少了训练时间。此外，MCDPO 通过对奖励本身进行条件化来解决标准 DPO 在扩散模型上的局限性，…
-
小型Qwen3大语言模型在旧手机上控制桌面浏览器
一个演示展示了Qwen3-0.6B语言模型在2017年的三星Note 8手机上成功控制了桌面版Google Chrome浏览器。该模型处理了结构化的页面表示，以执行诸如选择特定链接和提取数据等任务，在测试场景中达到了10/10的成功率。该设置突显了小型本地运行模型与Web界面交互的潜力，在效率和准确性方面优于直接处理HTML。
-
跨模型KV缓存共享有望加速多模型AI推理
两篇研究论文提出了一种名为跨模型KV缓存共享的方法，以提高多模型AI推理管道的效率。该技术允许一个模型在初始处理输入数据时计算出的键值状态被后续模型翻译和重用，而不是重新计算。这可以显著降低预填充阶段的延迟，而预填充阶段在涉及多个模型交接的管道中成本尤为高昂。
-
新的“模式化”技术可消除 AI 奖励模型的偏差，并显示跨模型迁移能力
研究人员开发了一种名为“模式化”（patterning）的新技术，用于消除 AI 训练中使用的奖励模型的偏差。该方法根据偏好对基准损失的影响重新加权，从而有效减少风格偏差。将该技术应用于在 Skywork-Reward-Preference v0.2 上训练的 Gemma 2 9B Instruct 模型，在 RM-Bench Hard 基准测试中取得了显著改进，优于先前的方法。学习到的权重还显示出向其他 Gemma 模型迁移的能力，…
-
Hugging Face发布高效多模态编码器NeoMME，研究表明编码器在印度语言NER任务上表现更优
Hugging Face推出了NeoMME，一个旨在提高效率的新型多语言多模态编码器系列。与许多生成式模型不同，NeoMME使用单个双向Transformer处理文本和图像块，并采用掩码离散扩散目标从头开始训练。在针对视觉文档检索进行微调后，NeoMME-Retriever表现出强大的性能，并显著降低了存储需求。此外，一项关于Naamapadam的研究发现，在大多数印度语言的命名实体识别任务中，基于编码器的模型性能远超生成式架构。
-
新方法实现 LLM 的跨模型 KV 状态共享
研究人员开发了一种新颖的“通用上下文重用层”，它能够实现不同大型语言模型之间的 KV（键值）状态共享，即使这些模型具有不同的架构、分词器和规模。这种跨模型 KV 共享显著减少了预填充期间的冗余计算，从而节省了成本并提高了性能。例如，在 LongBench2 基准测试中，Qwen2.5 模型之间的 KV 状态共享提高了准确性，而 Qwen2.5 和 Gemma-2 模型之间的跨家族共享将预填充成本降低了高达 67%，同时对困惑度影响极小…
-
新研究探索Transformer层中语法的几何结构
一篇新研究论文探讨了Transformer模型中语言表示的几何特性。该研究调查了这些表示的内在维度（ID）如何在不同层之间变化，以及这与词元的语法角色之间的关系。研究人员发现，不同类型的词（开放类词与封闭类词）表现出不同的ID扩展和收缩模式，并且仅凭几何特征就可以预测词元的语法角色。
-
针对疟疾药物发现微调的大型语言模型性能优于专有模型
一项新研究推出了 Malaria-Instruct，这是一个用于利用大型语言模型（LLM）进行疟疾药物发现的数据集。该研究评估了几种开源LLM，发现经过微调的模型在虚拟筛选抗疟化合物方面，其性能显著优于经典的机器学习方法，甚至优于未经微调的专有模型，如Gemini 2.5和OpenAI o3。特定领域的微调对于性能至关重要，其中TxGemma-9B和LlaSMol-Mistral-7B等模型表现最佳。
-
大型语言模型在冲突任务中表现出与人类认知相似的一致性效应
研究人员开发了一种新颖的言语冲突任务，用于研究大型语言模型中的一致性效应，并与心理学和神经科学研究进行类比。该任务涉及引发默认完成的提示，其中明确的规则要么同意，要么与此默认规则相冲突。对 Gemma-2-2B 和各种 Pythia 版本的模型分析显示出强烈的默认倾向和显著的一致性效应，这归因于权重内默认映射与上下文内基于规则的映射之间的竞争。该研究利用了因果归因、注意力分析和消融来识别由表面线索或明确规则激活的不同处理路径。
-
新方法使用Koopman算子进行模型可解释性分析
研究人员开发了一种名为“内在结构”的机制可解释性新方法，该方法利用Koopman算子分析模型内部动力学的谱特性。这种方法旨在区分模型固有的特征和可解释性方法产生的伪影。该研究为机制可解释性原语提供了第一个识别定理，证明了可以从校准样本中恢复模型的频谱，且误差率可预测。在GPT-2 small、Gemma 2-2B和Qwen3-8B-Base上的实验表明，频谱会收敛，并且在Qwen3-8B-Base上实现了预测的误差指数，这表明Koop…
-
HyperSAE 使用庞加莱几何来提升稀疏自编码器性能
一个名为 HyperSAE 的新 PyTorch 库已被开发出来，通过采用庞加莱双曲几何来提高稀疏自编码器 (SAE) 的效率。这种方法解决了标准 SAE 的局限性，标准 SAE 使用欧几里得空间，并且可能遭受特征冲突和死隐变量的问题，尤其是在字典大小很大的情况下。HyperSAE 在训练期间将字典权重投影到庞加莱球中，对概念进行分层组织，以减少重建误差和死隐变量。在 Gemma-2-2B 上的基准测试显示，平均平方误差降低了 9.8…
-
新的LLM微调方法旨在实现性能与碳排放的盈亏平衡
研究人员开发了一种新的微调方法，该方法包含一个可微分的能量代理模型，用于优化大型语言模型（LLM）的性能和碳排放。该方法旨在在推理过程中以最小或零碳成本实现任务准确性，而推理是LLM整体碳足迹的主要贡献者。在Gemma-2 2B、Llama-3.1 8B和Qwen-2.5 14B模型上针对特定MMLU科目进行的实验表明，碳感知微调充当了任务相关的正则化器，其有效性因任务结构而异。
-
新的分块SVD方法直接从权重中提取网络机制
研究人员开发了一种名为列分块SVD的新方法，可以直接从神经网络中的线性位提取可用的权重机制。该方法识别网络权重本身的概念，而不是依赖外部代理词典。该方法在Gemma-2-2B上使用WikiText-2进行了评估，在所有测试的线性映射中均获得满分182/182，其中特定的映射在残差写入方面显示出完整的A/B/C评分。
-
新的训练方法通过减少信号损失来增强 LLM 的可解释性
研究人员开发了一种名为“替换感知训练”的新方法，以提高大型语言模型的可解释性。该技术训练稀疏自编码器 (SAE)，使其能够抵抗上层引入的错误，而之前的方法则依赖“错误节点”来补偿信号损失。当应用于 Gemma-2-2B 时，这种方法产生了一个保留了语言能力并在 MMLU 等基准测试中表现更好的替换模型，而标准的 SAE 通常会使模型不连贯。