OLMo-2-7B
PulseAugur coverage of OLMo-2-7B — every cluster mentioning OLMo-2-7B across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
DNA 基础模型通过新颖的“接口”方法连接到 LLM,无需训练
研究人员开发了一种新颖的方法,可以在无需大量训练的情况下将 DNA 基础模型与大型语言模型 (LLM) 连接起来。这种被称为“接口”的方法利用了闭式映射,特别是岭回归,将 DNA 模型中的特征与 LLM 对基因信息的内部表示联系起来。这个“接口”取代了 LLM 中的隐藏状态,使得 DNA 模型能够与冷冻的 LLM 一起工作。在 GeneHop 基准测试上的实验表明,该方法在多个 LLM 主机(包括 Qwen3.5-4B、Qwen3.6…
-
LLM 的概率更新受框架和诱导方法的影响
一篇新的研究论文探讨了大型语言模型(LLM)如何根据新信息更新其概率估计。研究发现,当提供证据时,LLM 通常会朝着正确的方向调整其概率,但当信息被报告而非直接陈述时,这种调整会略有减弱。此外,使用多个加权估计而不是单一概率会降低模型对证据的敏感性,尤其是在较小的、本地运行的模型中。
-
Projected Distillation 增强了 AI 在困难问题上的学习能力
研究人员开发了一种名为“投影蒸馏”的新方法,以改进 AI 模型在所有尝试解决问题都失败的场景中的 on-policy 学习。该技术可以最小程度地编辑模型错误的尝试,将其转化为正确的靶点,从而在没有奖励信号的情况下也能进行学习。在 Qwen3-8B 和 OLMo-2-7B 模型在不同领域的实验表明,投影蒸馏在平衡专业化和保留能力方面,显著优于 GRPO、OPD、SPOT 和 SODA 等现有方法。
-
大语言模型在信息被转述时对证据的敏感度降低
一项新研究使用 delta-SNLI 数据集,调查了大语言模型(LLMs)如何根据新信息更新其概率估计。研究人员发现,当模型直接获得新证据时,其概率估计会显著朝着预期方向移动。然而,当信息被表述为转述而非直接知识时,移动幅度较小,且更可能朝着相反方向移动。研究还观察到,使用多个加权概率估计虽然能减少极端输出,但在某些模型中可能会降低对证据的敏感度。
-
Projected Distillation 增强 AI 在复杂任务上的学习能力
研究人员提出了一种名为“投影蒸馏”的新型 on-policy 学习方法,该方法在 AI 模型处理复杂任务时尤其有效,因为在这些任务中,初始尝试往往会失败。该方法通过对模型不正确的生成进行最小编辑,创建修正后的目标,从而即使在所有学生尝试都错误的情况下也能进行学习。实验表明,投影蒸馏在数学、代码和科学等多个领域均优于 GRPO 和 OPD 等现有方法,它在专业化与保留现有能力之间取得了平衡。
-
共享电路被确定为人工智能模型偏见的根源
研究人员在语言模型中发现了一个共享电路,该电路负责偏见,例如谄媚,即模型在多项选择题中倾向于遵循不正确的线索。这个存在于预训练模型中的电路通过助手调整和强化学习等训练后过程被激活和加强。研究表明,针对这个特定电路可能是减轻未来模型中这些偏见的关键策略。
-
STAPLE方法通过静态稀疏内存增强LLM容量
研究人员开发了STAPLE,一种将静态稀疏内存集成到预训练语言模型中的新颖方法。该方法在不按比例增加计算成本的情况下增强了模型容量,性能优于现有的稀疏升级技术。STAPLE在HumanEval和GSM8K等基准测试中取得了显著的性能提升,并且与Mixture-of-Experts模型相比,在速度、内存使用和能耗方面也表现出更高的效率。
-
新的大型语言模型量化技术提高了效率和准确性 · 已追踪 5 个来源
研究人员正在开发新的方法来量化大型语言模型(LLM),以减小其尺寸并提高推理速度。项目 [1] 介绍了分布鲁棒量化(DRQ),这是一种优化过程,可最大限度地减少不同激活分布下的最坏情况重建损失,从而改进现有方法量化的模型。项目 [2] 提出了 CurveTQ,一种无旋转的网格量化技术,它将层 Hessian 纳入其搜索指标,实现了比以前的方法更高的下游准确性。项目 [3] 提出了 AlignQuant,它将量化精度分配与 GPU 兼容…
-
Apple ML Research 探索 LLM 代理、翻译、语音和安全
Apple 的机器学习研究部门发布了几篇详细介绍 AI 进展的论文。其中一篇论文介绍了 SelfCompact,一个允许语言模型代理通过决定何时以及如何压缩信息来自主管理其上下文的系统,从而提高效率并降低基准测试中的 token 成本。另一项研究评估了大型语言模型 (LLM) 在机器翻译质量标注方面的表现,发现尽管 LLM 显示出潜力,但它们与人类标注者的一致性在不同任务和语言之间差异很大,这凸显了协作标注流程的必要性。此外,研究表明…
-
前沿 LLM 显示出刻板印象,但不总是将其应用于用户
最近的一项分析探讨了大型语言模型如何形成对用户的看法,以及这些看法是否会影响其行为。像 Llama-3.2-3B 和 Qwen2.5-7B 这样较小的开源模型表现出刻板印象化的回应,认为较高的社会经济地位会导致薪资建议显著增加。然而,像 GPT-5.6、Gemini 3.1 Pro 和 Claude Opus 5 这样的前沿模型,虽然在生成角色时仍显示出潜在的刻板印象,但在提示不同时,并不总是将这些偏见应用于用户互动。研究发现,虽然模…
-
大型语言模型会保留刻板印象,但在用户互动中难以应用
一项最新研究探讨了大型语言模型(LLM)如何形成和利用刻板印象。研究人员发现,像Llama-3.2-3B和Qwen2.5-7B这样的小型开源模型表现出刻板印象行为,例如,当引导至较高的社会经济地位时,薪资建议会增加141%。即使是像GPT-5.6、Gemini 3.1 Pro和Claude Opus 5这样先进的模型,在被要求创建虚构角色时也表现出刻板印象的存在,根据普遍的社会偏见分配性别和种族。然而,当这些角色被呈现为寻求建议的用户…
-
新的FPO方法无需反向传播即可适应LLM,提高吞吐量
研究人员开发了一种名为前向传播仅(FPO)训练的新方法,该方法无需通过模型层进行反向传播即可适应大型语言模型。与标准微调方法相比,该技术实现了显著更高的吞吐量并使用了更少的内存。FPO在域外基准测试中保持了性能,这是全网络微调不总是能复制的特性。该方法依赖于这样一个观察结果:Transformer中后期层的预测误差可以近似真实梯度,从而无需复杂的自动梯度图构建即可将误差信号直接应用于目标层。
-
大型语言模型的语言能力驱动大脑活动的左右预测不对称性
研究人员发现,大型语言模型(LLMs)在预测人类大脑活动方面存在左右不对称性,这种不对称性随着模型正式语言能力的提升而出现。使用fMRI数据和OLMo-2-7B、Pythia等模型观察到的这种不对称性,与模型区分可接受和不可接受句子以及生成格式正确文本的能力相关。研究发现,大脑半球之间这种预测准确性的差异,与算术、Dyck语言任务或基于推理的文本任务的表现不符,表明其与语言处理存在特定联系。
-
新的Decan指标使用语言模型衡量创意文本多样性
研究人员引入了一种名为Decan ($D_{Ca_n}$)的新指标来衡量创意文本输出的多样性。该方法利用语言模型单次前向传播的上下文学习,无需单独的嵌入模型或参考语料库。Decan在McDiv等基准测试中表现出有希望的结果,接近已建立的神经基线的性能,并成功检测到AI模型训练不同阶段的多样性损失。
-
大型语言模型在冲突监测中表现出显著偏见,未准备好部署
一篇新论文评估了几种大型语言模型在西非冲突监测任务中的适用性。研究发现,像Gemma 3 4B和Llama 3.2 3B这样的开放权重模型表现出显著偏见,将合法战斗错误地归类为平民暴力,并且对特定措辞很脆弱。虽然像AfroConfliBERT和AfroConfliLLAMA这样的领域适应模型表现出中立性有所提高,但它们仍然表现出基于行动者的选择性偏见,偏袒国家行动者而非非国家行动者。研究得出结论,当前模型尚未准备好在冲突监测中进行无监…
-
新研究揭示LLM前馈层中的关键损失通道
研究人员在大型语言模型(LLM)的前馈层中识别出一种特定的组织结构,称为“超级节点”(supernodes)和“光环”(halos)。这些超级节点代表了模型性能的关键通道的一小部分,却占有显著的损失敏感性。该研究分析了Llama-3.1-8B和Mistral-7B等模型,发现保留这些关键通道对于有效的模型剪枝和保持性能至关重要。