Llama2Vec: Unsupervised adaptation of large language models for dense retrieval
PulseAugur coverage of Llama2Vec: Unsupervised adaptation of large language models for dense retrieval — every cluster mentioning Llama2Vec: Unsupervised adaptation of large language models for dense retrieval across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新框架 S-SALAAD 使在边缘设备上高效推理大模型成为可能
研究人员开发了 S-SALAAD,这是一个旨在提高大语言模型在边缘设备上推理效率的新框架。该框架在训练过程中联合学习模型权重与结构化稀疏和低秩分量。S-SALAAD 整合了硬件兼容的稀疏模式和优化的内核以加速推理,使得单个模型检查点能够适应各种内存预算和硬件平台。在 Llama2 和 Qwen3 模型上的实验表明,与现有方法相比,在困惑度、内存使用和推理延迟方面都有显著改进。
-
Apple ML Research 探索 LLM 代理、翻译、语音和安全
Apple 的机器学习研究部门发布了几篇详细介绍 AI 进展的论文。其中一篇论文介绍了 SelfCompact,一个允许语言模型代理通过决定何时以及如何压缩信息来自主管理其上下文的系统,从而提高效率并降低基准测试中的 token 成本。另一项研究评估了大型语言模型 (LLM) 在机器翻译质量标注方面的表现,发现尽管 LLM 显示出潜力,但它们与人类标注者的一致性在不同任务和语言之间差异很大,这凸显了协作标注流程的必要性。此外,研究表明…
-
新方法大幅缩小LLM规模并提升推理速度
研究人员开发了两种新颖的方法,可在不显著损失性能的情况下大幅减小大型语言模型(LLM)的规模和计算成本。Squeeze10-LLM采用分阶段混合精度量化框架,通过将大部分权重量化到1比特,其余量化到4比特,实现了平均每权重1.6比特,提高了零样本任务的准确性。HyQuant专注于优化注意力模块,通过保留关键的“垂直线”令牌和局部窗口以高精度,同时量化剩余状态,从而在各种模型上实现更快的推理和更少的内存使用。
-
G-Boost框架通过LLM协作增强边缘SLM
研究人员开发了G-Boost,一个旨在增强边缘设备上部署的小型语言模型(SLM)性能的新颖框架。该系统实现了资源受限的边缘SLM与基于云的强大大型语言模型(LLM)之间的协作,而无需对边缘模型进行直接参数更新。G-Boost使用一种由奖励模型指导的树搜索方法,动态决定何时仅使用SLM,何时融合SLM和LLM的logits,从而转移领域知识。在GSM8K和MATH-500基准上的评估表明,G-Boost的性能显著优于独立的SLM和其他基…
-
在美国领导层就开放权重模型发表声明之际,开源人工智能联盟正式成立
开源人工智能联盟已宣布成立,此前美国领导层就开放权重模型发表了一封信函。一份报告详细介绍了人工智能开放的三年历程,追溯了从 Llama2(2023年7月)到 Kimi K3(2026年7月)的发展。报告强调了开源社区为人工智能开发正在构建的日益增长的基础设施。
-
大型语言模型(LLMs)在新研究中增强软件漏洞分类能力
一篇新研究论文探讨了高级主题建模技术(特别是利用大型语言模型 LLMs 的技术)在软件漏洞分类中的应用。该研究使用了 BERTopic、Top2Vec、CombinedTM 和 Mixtral 等模型,以及 UMAP 和 HDBSCAN 等聚类方法。通过分析漏洞数据集的“威胁”特征,该研究旨在通过自动化和可扩展的解决方案来加强网络安全中的威胁优先级排序和决策制定。
-
研究发现真实性在大型语言模型家族中是可继承的
一篇新的研究论文探讨了上下文真实性在模型谱系中的保持问题,发现从基础大型语言模型(LLMs)到其下游变体(包括指令调优和多模态适应模型)的真实性得分得到了强有力的维持。这种继承与注意力头部权重的保持有关。该研究提出了一种名为TruthProbe的方法,该方法可以增强上下文真实性头部,以提高模型的真实性并减少幻觉,涉及Vicuña、Qwen2.5、LLaMA2和Mistral等模型。
-
SelectiveRM 框架训练奖励模型忽略嘈杂偏好
来自浙江大学、小红书和北京大学的研究人员开发了 SelectiveRM,一个用于训练大型语言模型奖励模型的新颖框架。该方法通过使用最优传输来选择性地对齐分布,解决了人类和 AI 生成反馈中常见的嘈杂偏好数据的问题。SelectiveRM 识别并丢弃冲突的嘈杂偏好,使模型能够学习更可靠的奖励函数,并提高下游人类反馈强化学习 (RLHF) 的安全性。
-
New method combats data laundering in LLM training
一篇新研究论文介绍了一种名为合成数据逆转(SDR)的方法,旨在打击大型语言模型(LLM)训练中的数据洗钱行为。数据洗钱涉及转换专有数据以模糊其来源,使权利所有者难以检测未经授权的使用。SDR通过推断未知的洗钱转换并合成模仿洗钱数据的查询来工作,从而增强检测信号。该方法在MIMIR基准测试中得到验证,在增强各种LLM家族和洗钱实践中的数据滥用检测方面显示出了一致的有效性。