singular value decomposition
PulseAugur coverage of singular value decomposition — every cluster mentioning singular value decomposition across labs, papers, and developer communities, ranked by signal.
19 天有情绪数据
-
新的防御系统ORAN-DEFEND针对开放无线接入网中的后门攻击
研究人员开发了ORAN-DEFEND，一个旨在保护开放无线接入网（O-RAN）免受嵌入在第三方深度强化学习（DRL）xApp中的后门攻击的新系统。该防御机制通过将KPI窗口投影到通过可信数据奇异值分解识别出的安全子空间上来运行，而无需重新训练受损的xApp。该系统的有效性取决于后门触发器的能量是否集中在与安全子空间正交的子空间中。在Colosseum COLORAN数据集上的实证结果显示，针对各种DRL后门攻击，该系统实现了100%的…
-
新的MESH-FL框架提高了边缘设备的联邦学习压缩率
研究人员开发了MESH-FL，一个用于边缘设备联邦学习的新型框架，该框架利用熵引导压缩来处理多模态模型。该方法根据谱熵自适应地分配不同层、模态和设备上的压缩秩，旨在在有效载荷约束下优化性能。在树莓派集群上进行的实验表明，与标准的FedAvg相比，MESH-FL可以在提高准确性和减少数据传输的同时，实现显著的压缩比。
-
新框架通过状态分析对深度神经网络进行经验性压缩
研究人员开发了一种通过分析其内部状态的可控性和可观测性来压缩深度神经网络的新颖方法。该框架将训练好的网络视为动力学系统，使用数据驱动的测试来估计隐藏状态内的冗余度。该方法成功地减小了MNIST和CIFAR-10数据集上网络的态阶，在状态和参数方面实现了显著压缩，同时在很大程度上保持了准确性并提高了推理速度。
-
LoCA 方法高效地为卷积层适配视觉基础模型
研究人员推出了一种名为 LoCA（Low-Rank Convolutional Adaptation，低秩卷积适配）的新颖方法，可高效地对视觉基础模型进行微调。与主要为 Transformer 架构设计的现有 LoRA 技术不同，LoCA 专门针对卷积核进行了优化。它通过解耦通道和空间适配，并利用奇异值分解来优化空间基，从而解决了卷积层中空间-通道纠缠的挑战。该方法旨在保留预训练的空间先验，并在细粒度分类和域泛化语义分割等任务中展现出…
-
新研究探索先进的大模型压缩技术 · 跟踪到2个来源
两篇新研究论文提出了先进的大语言模型（LLM）压缩方法，以减小其规模和计算需求。第一篇论文介绍了 Leech Lattice Vector Quantization (LLVQ)，它利用高维格实现最优球体打包，从而达到最先进的压缩性能，优于现有的 Quip# 和 QTIP 等技术。第二篇论文提出了 LACE-SVD，一个 Loss-Aware SVD 框架，该框架根据层级损失敏感度分配秩预算，并纠正残差流中的累积误差，在 LLaMA-…
-
新的“跨度内学习”方法利用自身预测调整AI模型
一篇新研究论文介绍了一种名为“跨度内学习”（in-span learning）的方法，该方法利用降阶模型自身的预测来调整模型。该技术通过重新加权并使模型的内部基向已访问的动力学对齐，从而增强了模型吸收未来修正的能力。该方法已在粘性Burgers方程和Fisher-KPP方程等多种动力学上得到验证，并表明模型生成的轨迹比以往理解的包含更多可用信息。
-
新CORA方法将LLM微调参数减少4倍
研究人员推出了一种新颖的参数高效微调方法，用于大型语言模型，名为CORA（相干正交旋转适应）。CORA利用奇异值分解（SVD）来保留预训练权值内的几何关系，对每个切片的左奇异基和右奇异基应用共享的正交旋转。与LoRA等方法相比，该方法显著减少了可训练参数，在相同秩下使用的参数量约减少4倍。实验表明，CORA在常识推理和代码生成任务中优于现有方法，同时保持了参数数量的大幅减少。
-
新的TAO方法提高了机器人视觉定位的准确性
研究人员开发了轨迹锚点优化（TAO）方法，这是一种用于提高机器人热视觉定位（TIR-VPR）的新方法。现有的基于基础模型的TIR-VPR系统可能过于自信，在分布外条件下错误地匹配不正确的位置。TAO通过将多视图时间验证压缩为批处理的SE(2) Procrustes对齐问题来解决此问题，与传统的多假设跟踪相比，大大降低了计算开销。这种方法通过宏观上有效地过滤虚假接受，区分真实的闭环和误导性的幻觉，从而实现了实时的机器人应用。
-
新框架揭示视觉 Transformer 如何编码几何信息
研究人员开发了一个新框架，用于分析自监督视觉 Transformer (ViTs) 如何编码几何信息。通过使用奇异值分解 (SVD) 来检查线性探针的权重，他们发现预训练目标显著影响特征编码。具体来说，DINOv2 对齐空间特征以便于提取，而掩码自编码器 (MAE) 则分散这些信号，需要更广泛的上下文。研究还表明，几何表示具有高度可压缩性，并且几何精度在中间层达到峰值，然后转移到语义抽象。
-
CLEAR-MoE 将冻结的 Vision Transformers 转换为稀疏 MoE 模型
研究人员开发了 CLEAR-MoE，这是一种新颖的训练后方法，可以将冻结的 Vision Transformers (ViTs) 转换为稀疏专家混合 (MoE) 模型，而无需更改原始骨干网络的权重。该技术涉及一个四阶段的流程，对前馈网络层进行评分和分解，训练轻量级路由器，并分派 token。在各种 ViT 骨干网络上进行的实验表明，CLEAR-MoE 可以保留几乎所有密集模型的准确性，其中共享的奇异值分解 (SVD) 基础对于保持性能…
-
神经网络初始化谱的新数学模型
研究人员开发了一个新的数学框架来分析非平方随机矩阵乘积的奇异值谱。该框架可用于理解初始化时深度线性神经网络的特征协方差特征值。该研究引入了几何Dyson布朗运动和Burgers方程来模拟这些谱过程，最终得到自由对数正态律。
-
新方法将持续学习重构为基于检索的记忆管理
研究人员推出了一种新颖的持续学习方法——神经子空间重分配（NSR），该方法将持续学习过程视为参数子空间内的记忆管理。NSR将低秩适配（LoRA）模块视为可压缩和可检索的记忆单元，使用SVD对其进行压缩并存储在任务知识库（TaskKnowledgeBank）中。系统根据嵌入相似性回忆相关的过往LoRA以预热新任务并重新分配活动子空间，同时通过蒸馏保护先前任务。实证结果表明，NSR显著减少了周期性恢复时间，并以最小的遗忘实现了高精度，突出…
-
新的 S-GAI 框架将数据集几何嵌入 MLP 权重
研究人员开发了 S-GAI，一种用于 Sigmoidal MLP 的新型初始化框架，可将数据集几何直接嵌入网络权重。该方法使用奇异值分解 (SVD) 从图像数据中估计类别的谱几何，创建比传统 Xavier 初始化更具信息量的初始化隐藏层。在 MNIST、Fashion-MNIST 和 CIFAR-10 上的实验表明，S-GAI 初始化模型在训练更少的情况下可达到可比的准确率，并且在隐藏层冻结时甚至优于随机初始化。
-
新的ReTeX框架可从合并的AI模型中恢复任务专家性能
研究人员开发了一个名为ReTeX的新框架，以解决多任务模型合并中的参数干扰问题。该方法将干扰建模为加性偏移，并预测这些偏移以从单个合并模型中恢复单个任务专家的性能。ReTeX在计算机视觉和自然语言处理领域均实现了超过95%的个体专家性能，并通过自适应地插值专家知识来提高对未见任务的泛化能力。
-
混合新方法增强语义搜索隐私性
研究人员开发了一种新颖的隐私感知语义搜索方法，在数据保护和搜索性能之间取得平衡。该方法使用奇异值分解（SVD）将文档嵌入截断到低维子空间，并对文档集合应用秘密正交变换。然后使用CKKS同态加密方案加密查询，确保诚实但好奇的服务器永远看不到查询值或相似度分数。这种混合策略在亚秒级延迟下保持检索质量，并为LLM防火墙提供了一种隐私保护的语义数据丢失预防原语。
-
混合新方法增强语义搜索系统的隐私性
研究人员开发了一种新颖的方法来增强由密集嵌入驱动的语义搜索系统的隐私性。该方法解决了嵌入反演攻击的风险，该攻击可以从向量数据库中重建源文本。它结合了几何保护文档集合（使用SVD截断和秘密旋转）与加密保护查询（通过CKKS同态加密）。这种混合策略旨在保持排名质量，并在大型数据集上实现亚秒级延迟，同时在定义的威胁模型内提供强大的隐私保证。
-
新的SVD框架解决移变图像模糊问题
研究人员开发了一个新的框架，利用奇异值分解（SVD）来复原受移变运动模糊影响的图像。该方法解决了图像中退化程度不一的挑战，这是单个卷积核无法处理的。该方法利用奇异值能量保留准则来管理噪声放大，同时保留图像细节。实验表明，基于SVD的算法能有效恢复图像信息并减少由不同运动模型引起的伪影。
-
新的SVD-Surgeon方法无需重新训练即可优化LLM压缩
研究人员开发了SVD-Surgeon，一种新颖的、无需训练即可使用奇异值分解（SVD）压缩大型语言模型（LLM）的方法。该技术直接优化奇异值，提供一种封闭形式的更新，以补偿移除的组件并识别要修剪的值。当应用于现有的SVD压缩器（如SVD-LLM）时，SVD-Surgeon在不重新训练的情况下，提高了OPT和LLaMA 2-7B等模型的困惑度-压缩权衡。
-
新方法无需训练即可合并AI模型以提高性能
研究人员开发了一种新颖的无训练方法，用于将多个特定任务的AI模型合并成一个更高效的多任务模型。这种新方法名为SiM，它利用奇异值分解来近似任务流形，并根据输入特征对任务进行分类，而无需在推理过程中进行额外训练或了解任务ID。SiM显著提高了合并模型在计算机视觉和自然语言处理基准测试中的性能，有效地缩小了合并模型与单个任务专家之间的差距。
-
新的ORBIT方法实现了语言模型的多属性引导
研究人员开发了ORBIT，一种新颖的无训练方法，用于同时引导语言模型的多个行为属性。与以往在组合属性或需要重新训练方面存在困难的方法不同，ORBIT使用奇异值分解创建引导平面的联合子空间，通过单一旋转来实现组合目标方向。该方法还包括自适应的每token门控和对弱属性的可选加性增强。ORBIT在新的基准测试TraitFactory和ToneBank上，在多个模型上进行了评估，与现有基线相比，展示了卓越的多属性引导能力和更好的输出连贯性。