singular value decomposition
PulseAugur coverage of singular value decomposition — every cluster mentioning singular value decomposition across labs, papers, and developer communities, ranked by signal.
16 天有情绪数据
-
受量子启发的TT-Net利用张量网络推进图像去噪
研究人员推出了一种新颖的图像去噪方法TT-Net，该方法利用受量子启发的张量网络方法。与使用奇异值分解（SVD）处理单个通道的现有方法不同，TT-Net采用双切张量链分解来访问跨通道信息。这一进展使得TT-Net在处理高斯噪声、运动模糊和椒盐噪声等各种噪声类型时，在去噪质量上优于SVD-Net。该研究还表明，受量子启发的工具可以作为深度学习应用中有效的特征过滤器。
-
新的基于图的方法增强了 SARS-CoV-2 变体检测
研究人员开发了 GenEx，一种用于检测 SARS-CoV-2 变体的新型基于图的方法。该流程将基因序列转换为密码子共现图，利用 MSCG 和 LAPCG 等技术。该方法提取了超过 25 个图特征，并采用奇异值分解进行谱特征提取，提高了分类准确性。在针对 23 个基准机器学习模型进行测试时，GenEx 在识别各种 SARS-CoV-2 变体方面取得了显著成果。
-
新Z Image HSWQ Hybrid ConvRot NVFP4量化方法发布
一种名为Z Image HSWQ Hybrid ConvRot NVFP4的新量化方法已被开发出来，与之前HSWQ方法相比，它提供了改进的VRAM使用和处理速度。该方法通过引入一个称为轨迹敏感性（Trajectory-Sensitivity）的概念，与之前的HSWQ理论（如Histogram MSE、full SVD和Histogram Cosine）显著不同。轨迹敏感性根据量化误差在整个模型和采样器中传播后引起的差异对层进行排名，代…
-
新的 SE-MoLoRA 框架增强了 AI 摄影评论能力
研究人员开发了 SE-MoLoRA，一种新颖的参数高效适配框架，旨在提高视觉语言模型在摄影评估方面的能力。该方法将通用的摄影知识与构图、光照和技术质量等特定的美学判断分离开来。通过使用共享专家 LoRA 适配器和路由专家适配器，SE-MoLoRA 能够以比训练独立模型更少的激活参数进行有针对性的评论。实验表明，评论生成质量显著提高，SE-MoLoRA 的表现优于整体 LoRA，并在用户比较中更受欢迎。
-
CORAM方法通过流形上的SVD增强AI模型合并
研究人员推出了一种新颖的微调AI模型合并方法CORAM，该方法改进了现有的OrthoMerge等技术。与先前在欧几里得权重空间中使用线性算术的方法不同，CORAM利用了对分割权重矩阵进行奇异值分解（SVD），以合并其各自流形上的任务特定因子。该方法包含一个放大系数和一个恢复强度参数，无需广泛的候选评估即可估算，以管理流形平均的收缩效应。CORAM在各种模型家族和规模上均显示出比OrthoMerge显著的改进，与强大的权重空间基线相匹配或超越。
-
新研究识别并提出 Omni-LLM 感知-决策不对齐问题的解决方案
研究人员在 Omni-大型语言模型 (Omni-LLMs) 中发现了一个关键问题，称为感知-决策不对齐 (PDM)。该问题意味着，尽管模型表现强劲，但其决策并未忠实地与其多模态感知保持一致。为解决此问题，开发了一种名为因果模态敏感度 (CMS) 的新指标，使用答案保留率 (ARR) 和对数几率角差异 (LAD) 来诊断 PDM。还创建了一个新的基准数据集 CausalMSBench，以隔离语言先验并测试 CMS。研究发现，当前的 Om…
-
新的LoRA-CRAFT方法大幅减少微调参数
研究人员开发了LoRA-CRAFT，一种新颖的参数高效微调方法，它利用Tucker张量分解对跨Transformer层的预训练注意力权重进行分解。与分解梯度更新或独立处理层级的现有方法不同，LoRA-CRAFT直接将分解应用于组织为跨层张量的预训练权重。这种方法冻结了产生的因子，只训练小的变换，在参数显著减少的情况下实现了具有竞争力的性能，尤其是在LLaMA3-8B等大型模型上。
-
新AI框架减少医疗记录中的冗余，以改进强化学习
研究人员开发了一种新的医学多模态强化学习框架，解决了临床记录中的时间冗余问题。该框架在策略学习前显式移除随时间重复的文本，从而提高了状态表示的质量。在真实ICU数据上的评估表明，这种考虑冗余的方法显著优于仅使用结构化数据或原始、未经编辑的记录的传统方法，从而在临床决策支持方面取得了更好的性能。
-
新框架Q-Selector优化LMM指令调优以进行图像质量评估
研究人员开发了Q-Selector，一个旨在提高大型多模态模型（LMM）在可解释图像质量评估中指令调优效率的新框架。研究发现，仅仅扩大数据集规模并非总是最优选择，精心挑选的数据子集可以以显著降低的计算成本获得更好的结果。Q-Selector采用了一个三阶段流程，包括基于LMM的聚类、用于配额分配的密度和可迁移性分析，以及用于数据采样的奇异值分解。
-
新的SCLoRA方法增强模型适应性并减少遗忘
研究人员推出了一种新颖的低秩适应（LoRA）方法SCLoRA。该技术利用奇异值分解（SVD）分析预训练权重，识别出主奇异分量（值大）是可重用的，而较小的分量是任务特定的。SCLoRA通过引入谱裁剪和参数化奇异分量来解决灾难性遗忘问题，从而在保留预训练知识的同时有效地适应新任务。实验表明，SCLoRA提高了下游性能并保留了重要的预训练信息。
-
新的SAFE-SVD方法在保持精度的同时压缩物理基础模型
研究人员开发了SAFE-SVD，一种用于物理基础模型（PFM）的新型压缩框架，解决了在保持物理保真度的同时减少内存使用和加速推理的关键需求。与通常因物理数据导数敏感性而降低精度的传统方法不同，SAFE-SVD在输出函数空间中显式地建模层敏感性。这种方法可以在保持精度的同时实现显著更高的压缩率，有可能在AI for Science领域实现更高效、更可持续的科学基础模型。
-
新的量化方法旨在降低LLM的计算成本
两篇新的研究论文介绍了一种量化大型语言模型（LLM）的新颖方法，以减少其计算足迹。LoRAQuant专注于低秩自适应（LoRA）适配器的混合精度量化，使用奇异值分解将重要信息集中到更高精度的组件中，同时将其余部分量化为超低比特宽度。ReRound通过采用具有条件扩散模型的重构舍入技术来解决无校准量化中的中点歧义，特别有利于较小的LLM，并优于标准的四舍五入到最近的方法。
-
新方法无需重新训练即可合并多任务AI模型
研究人员开发了一种新颖的无训练方法，用于多任务模型合并中的任务分类，旨在提高性能，同时在推理过程中无需额外的训练数据或任务ID。该方法名为SiM，利用基于奇异值分解（SVD）的低秩流形近似，根据测试输入在每个任务流形上的投影残差来评估任务得分。这使得可以动态路由以激活与任务相关的参数，从而有效缩小合并模型与各个任务专家在各种计算机视觉和自然语言处理基准测试中的性能差距。
-
新的分块SVD方法直接从权重中提取网络机制
研究人员开发了一种名为列分块SVD的新方法，可以直接从神经网络中的线性位提取可用的权重机制。该方法识别网络权重本身的概念，而不是依赖外部代理词典。该方法在Gemma-2-2B上使用WikiText-2进行了评估，在所有测试的线性映射中均获得满分182/182，其中特定的映射在残差写入方面显示出完整的A/B/C评分。
-
新方法通过稀疏PPMI图平均改进随机索引嵌入
研究人员开发了一种方法，通过与稀疏正点互信息（PPMI）图进行平均来改进随机索引（RI）嵌入。该技术在童话语料库上进行了测试，在语义类比任务上的准确率从19.4%提高到30.7%。虽然这种图平均方法对RI显示出潜力，但在其他数据集和任务上与Skip-gram和CBOW等神经网络基线相比，其竞争力较弱。
-
稀疏PPMI图平均法提升随机索引嵌入效果
本文介绍了一种通过在稀疏正点互信息（PPMI）图上进行平均来改进随机索引（RI）嵌入的方法。该技术在童话语料库上，针对与Google家族类别相关的语义类比问题，准确率显著从19.4%提升至30.7%。然而，该方法在text8和SimLex-999等其他数据集上并未优于神经基线模型，甚至降低了某些其他嵌入类型的准确率。
-
新的光谱积分梯度法改进了AI特征归因
研究人员推出了一种新颖的特征归因方法——光谱积分梯度法（SIG），旨在改进现有的积分梯度法（IG）等技术。SIG通过采用奇异值分解（SVD）来构建积分路径，解决了IG标准直线路径的局限性。这种方法能够逐步激活全局结构，然后再激活细粒度细节，从而实现粗粒度到细粒度的渐进过程。在各种图像分类数据集上的评估表明，与其他的基于路径的方法相比，SIG生成的归因图更清晰，噪声更少，并且在定量性能上更优。
-
新防御方法SRAP通过SVD精炼提升换脸保护能力
研究人员开发了SRAP，一种防御换脸深度伪造的新颖方法。SRAP使用奇异值分解（SVD）和身份重要性掩码来精炼对抗性扰动。该方法旨在通过抑制高频噪声并将扰动集中在对身份敏感的区域，来减少与对抗性防御相关的典型视觉降级。实验表明，与现有方法相比，SRAP在保护面部图像和保持其视觉质量之间提供了更好的平衡。
-
新的 GeoRA 方法增强了大型语言模型的 RLVR
研究人员推出了一种新颖的低秩适应方法 GeoRA，该方法专门为具有可验证奖励的强化学习 (RLVR) 设计。与现有的专注于监督微调的方法不同，GeoRA 考虑了 RLVR 中固有的独特优化动态和几何结构。通过利用奇异值分解提取 RL 更新子空间的主方向，GeoRA 有效地保留了预训练模型的结构，同时实现了高效的计算。在 Qwen 和 Llama 模型上的实验表明，GeoRA 在数学、医学和编码等各种 RLVR 任务中优于其他低秩适应技…
-
FedSLM框架实现大型基础模型的联邦学习
研究人员提出了FedSLM，一个旨在解决大型基础模型联邦学习中资源不对称挑战的新颖框架。该方法利用奇异值分解（SVD）创建可聚合的压缩客户端模型，使硬件有限的机构能够有效参与。FedSLM采用两阶段协议来同步适配器和融合全秩重建，并结合弱到强诱导步骤，在减轻压缩伪影的同时将知识转移到服务器模型。实验表明，FedSLM在自然语言和视觉-语言任务上均优于现有的联邦基线，客户端模型的GPU内存占用约为完整模型的一半。