singular value decomposition
PulseAugur coverage of singular value decomposition — every cluster mentioning singular value decomposition across labs, papers, and developer communities, ranked by signal.
7 天有情绪数据
-
SinkState通过低秩状态压缩优化混合LLM服务
研究人员开发了SinkState,一种通过有效管理循环状态来优化混合大型语言模型(LLM)服务的新颖方法。该技术利用了这些状态通常具有低秩结构的观察结果,这意味着存储的许多信息是冗余的。SinkState采用动态奇异值分解(SVD)以自适应低秩形式存储状态,从而减少内存使用并加快解码速度。实验表明,SinkState在保持模型准确性的同时,可以将峰值内存减少高达2.6倍,并将解码速度提高高达1.58倍。
-
新的神经符号推理管道提高了加权模型计数精度
研究人员开发了新的神经符号推理管道,通过战略性地分配近似预算来提高加权模型计数(WMC)的准确性。这些管道受张量网络启发,利用张量链分解和奇异值分解(SVD),在各种推理任务中提供了比以往方法显著更准确的WMC估计。这种增强的准确性对于需要符号因子之间紧密交互的任务特别有利,从而带来更强的下游学习。
-
新的RBLA+方法提高了AI模型联邦微调的效率
研究人员开发了RBLA+,一种用于联邦微调的增强方法,可为异构客户端高效提取LoRA适配器。该方法通过最小化聚合过程中的重构误差和计算开销来解决客户端使用不同LoRA秩的挑战。RBLA+利用紧凑的QR/core-SVD分解来构建客户端大小的适配器,而无需形成密集更新,与现有方法相比,提高了准确性并减少了提取时间,同时保留了客户端指定的适配器大小和通信负载。
-
DeltaForge 通过专家混合模型整合自动驾驶模型
研究人员开发了 DeltaForge,这是一种新颖的、用于自动驾驶的后验专家混合视觉语言动作(VLA)模型。该方法将多个独立微调的领域特定模型整合到一个高效的多领域模型中。DeltaForge 通过奇异值分解来分解权重更新,分离共享组件和领域特定组件,并采用专用路由器来实现这一点。该模型在城市、越野和高速公路等各种驾驶场景中,准确性与各个领域专家相当,同时保持了接近单一模型的参数和计算成本。
-
新数学论文详述机器人集体认知框架
本文提出了一个全面的机器人集体认知数学框架,侧重于多模态和集体估计。该框架基于广义奇异值分解(GSVD)来分析一个线性算子相对于另一个算子的主导地位。研究工作包括线性代数和统计估计机制的详细推导,探讨了GSVD的各种形式,并评估了其在认知循环中的应用。论文还提供了数值实践和参考实现,所有计算均经过双精度验证。
-
SVD-Prune框架大幅削减AI模型中的视觉令牌
研究人员开发了SVD-Prune,一个旨在解决视觉语言模型(VLMs)和视觉语言动作(VLA)模型中计算瓶颈的新型框架。这种无需训练的方法利用奇异值分解(SVD)和统计杠杆分数来保留视觉表示的主导谱结构,而不是关注单个令牌的重要性。SVD-Prune可应用于多模态管道的各个阶段,并已证明在视觉令牌预算方面有显著削减,最高可达99.3%,同时在推理速度方面实现了大幅提升。
-
新框架CRLoMTL使用低秩矩阵改进多任务学习
研究人员开发了CRLoMTL,这是一个新颖的框架,旨在通过解决负迁移来改进计算机视觉中的多任务学习(MTL)。该方法利用低秩矩阵来解决任务之间的冲突,学习特定于任务的更新,并通过基于奇异值分解的共享子空间融合机制将它们集成起来。使用Swin Transformer骨干网络在PASCAL-Context和NYUD-v2等数据集上进行的实验表明,与单任务基线相比,CRLoMTL在可训练参数显著减少的情况下实现了更高的准确性。
-
新的 COMPOT 框架提供高效的 Transformer 模型压缩
研究人员开发了 COMPOT,一个用于压缩 Transformer 模型的新型无训练框架。该方法利用校准数据集通过正交字典估计稀疏权重分解,从而实现高效的闭式更新。COMPOT 还采用动态分配策略,自适应地将压缩率分配到不同层,旨在与现有的低秩和稀疏基线相比,实现更好的质量-压缩权衡。该框架兼容训练后量化,以实现极高的压缩水平。
-
新TWA方法增强AI模型中的分布外检测能力
研究人员开发了一种名为秩一权重校正可训练权重平均(TWA)的新方法,以改进AI模型中的分布外(OOD)检测。该技术在现有的TWA方法基础上,通过整合通过奇异值分解提取的主导低秩分量来构建。当应用于ResNet50模型时,增强的TWA在各种数据集上,尤其是在使用异常值暴露(Outlier Exposure)时,表现出优于标准TWA和微调的性能。
-
奇异值分解(SVD)在图像压缩中的应用详解
本文解释了如何利用奇异值分解(SVD)通过将图像分解为多个层来压缩图像。文章强调,图像的初始层包含最重要的信息,通过保留这些核心组件可以实现有效的压缩。
-
研究揭示了提高每日物品嵌入兼容性以进行点击率预测的方法
一篇新的arXiv论文探讨了提高每日物品嵌入兼容性的方法,这对于预测用户行为(如点击率CTR)至关重要。该研究将Word2Vec与XSimGCL的改编版进行了比较,评估了初始化、对齐和尺度管理等各种技术。主要发现表明,ID初始化和正交对齐等干预措施显著提高了嵌入兼容性和CTR,而每日全局重缩放有效地管理了随时间累积的尺度。研究还表明,降维编码器可以进一步使嵌入适应残差漂移,这表明结合上游稳定化、尺度管理和下游任务学习有利于工业应用。
-
新的LEMS和KFAC-SVD技术提高了大模型压缩的准确性
研究人员开发了一种名为逐层误差模型搜索(LEMS)的新方法,利用奇异值分解(SVD)来改进大型语言模型(LLMs)的压缩。LEMS通过引入逐层误差代理来解决现有方法的局限性,该代理能更好地捕捉误差传播和重要性,从而实现更有效的全局秩分配。此外,还提出了KFAC-SVD,通过使用令牌级统计信息来提高分解质量,有助于缓解秩亏损。这些技术在Mistral、Qwen3和Llama 3等模型上展示了高达4.8个百分点的显著准确性提升,并将困惑度…
-
新方法通过SVD提升LLM压缩效果并提高准确性
研究人员开发了两种新方法:逐层误差建模搜索(LEMS)和KFAC-SVD,以利用奇异值分解(SVD)改进大型语言模型(LLM)的压缩。LEMS通过考虑逐层误差代理和传播偏差来增强秩分配,而KFAC-SVD则通过使用标记级统计数据来缓解秩崩溃,从而提高分解质量。这些技术在包括Mistral、Qwen3和Llama 3在内的各种模型上展示了显著的零样本准确性提升,最高可达4.8个百分点,平均困惑度改善15%,并且可以扩展到700亿参数的模型。
-
新的OPLoRA方法可防止LLM微调中的灾难性遗忘
研究人员推出了一种新颖的方法——正交投影LoRA(OPLoRA),以解决大型语言模型参数高效微调中的灾难性遗忘问题。该技术使用双向正交投影,确保学习到的更新不会干扰编码在主奇异值方向中的关键预训练知识。OPLoRA在数学上保证了关键预训练信息的保留,并在使用LLaMA-2 7B和Qwen2.5 7B模型进行的常识推理、数学和代码生成任务上展示了具有竞争力的性能。
-
新方法追踪开放权重AI模型中的定向溯源
研究人员开发了一种名为Witness Overlap的新方法,用于确定开放权重模型的定向溯源。该技术解决了审计频繁微调、合并和重新发布的模型家族的挑战。与仅检测相关性的现有对称方法不同,Witness Overlap使用第三个“见证”检查点来推断模型开发的顺序。该方法在区分各种LLM家族的父子决策方面表现出高成功率,并且对噪声和剪枝具有鲁棒性。
-
深度学习框架优化三混合MIMO预编码,提升无线效率
研究人员开发了一个名为Tri-PNet的新型深度学习框架,用于优化无线通信系统中的多用户MIMO预编码。该框架将电磁(EM)可重构天线与传统的混合模拟数字预编码相结合,创建了一个“三混合”系统,显著提高了频谱效率。Tri-PNet利用了结合了卷积神经网络和Transformer的Conformer架构,以联合学习电磁、模拟和数字预编码策略。与现有方法相比,该系统表现出优越的性能,以显著降低的计算复杂度逼近最优解,并在信道信息不完美的情…
-
语言学理论可视化:词语邻近度演示使用 PPMI 和 SVD
此演示通过在三维空间中可视化词语关系来阐释一项语言学理论。它使用正点互信息 (PPMI) 来量化词语共同出现的频率是否高于偶然预测的概率。然后,奇异值分解 (SVD) 被用于将高维词向量降至三维表示,从而能够直观地探索语义邻近度。
-
新方法计算网络防御博弈的纳什均衡
研究人员开发了一种名为动态低秩均衡计算(DLR-NE)的新方法,用于高效计算随机博弈的纳什均衡,特别是在工业控制系统(ICS)面临高级持续性威胁(APTs)的背景下。该方法利用了ICS中攻击和防御策略固有的低秩结构,与传统的全秩值迭代相比,可以显著加快计算速度。DLR-NE保证了明确的近似误差和几何收敛性,提供了一种以更低的计算成本和经过认证的安全性来开发鲁棒防御策略的实用方法。
-
新研究将SVD重构为核心ML算法,并扩展至多源学习
两篇新研究论文从几何角度探讨了奇异值分解(SVD)在机器学习中的基础和应用。第一篇论文从几何视角重新审视了SVD,展示了其证明如何直接转化为主成分分析、核方法和PageRank的算法。第二篇论文介绍了一种名为eKSVD的扩展,它能够使用非对称核在多个数据源之间进行联合非线性特征学习,并且可以与神经网络互补。
-
新型对称自编码器为深度学习提供理论基础
研究人员引入了一类新的深度学习架构,称为对称自编码器,与现有方法相比,它提供了更强大的理论基础。这项工作正式区分了不同类型的对称架构,并分析了它们的数学优势和局限性。一个关键发现是,具有正交归一化约束的对称自编码器的重建误差可以通过Eckart-Young-Schmidt定理来理解,从而基于奇异值分解开发了EYS初始化策略。