Low Rank Adaptation
PulseAugur coverage of Low Rank Adaptation — every cluster mentioning Low Rank Adaptation across labs, papers, and developer communities, ranked by signal.
12 天有情绪数据
-
PEFT 将罗马乌尔都语中大型语言模型的仇恨言论检测 F1 分数提升至 93% 以上
一篇新研究论文探讨了参数高效微调 (PEFT) 方法，特别是低秩自适应 (LoRA)，在罗马乌尔都语仇恨言论检测中的有效性。研究发现，虽然在 Mistral、LLaMA、Falcon 和 BERT 等模型上进行零样本推理取得了中等结果（F1 分数 0.56），但使用 PEFT 进行微调可将性能显著提高到 0.93 以上的 F1 分数。这种方法展示了强大的计算效率，使其成为处理低资源语言的可行解决方案。
-
新方法提升AI生成图像检测的泛化能力
研究人员正在开发新的方法来检测AI生成的图像，以应对跨不同生成技术和数据集的泛化挑战。一种名为“先验条件高斯判别器”（Prior-Conditioned Gaussian Discriminants）的方法，通过分析特征统计数据来构建决策规则，即使在训练数据与测试数据不同时也能表现良好。另一种名为“锚点正则化自适应”（Anchor-Regularized Adaptation, ARA）的方法，使用一种称为低秩自适应（Low-Rank…
-
新的SCLoRA方法增强模型适应性并减少遗忘
研究人员推出了一种新颖的低秩适应（LoRA）方法SCLoRA。该技术利用奇异值分解（SVD）分析预训练权重，识别出主奇异分量（值大）是可重用的，而较小的分量是任务特定的。SCLoRA通过引入谱裁剪和参数化奇异分量来解决灾难性遗忘问题，从而在保留预训练知识的同时有效地适应新任务。实验表明，SCLoRA提高了下游性能并保留了重要的预训练信息。
-
研究发现：AI模型推理会因精调和提示而改变
研究人员开发了一种方法来审计AI系统，以了解精调和提示效果如何影响其推理，尤其是在高冲突场景下。他们在LLaMA-3.2-11B、Qwen-3.5-9B和Pixtral-12B模型上使用低秩适配（LoRA）进行了实验，证明了打破常规的精调可以将模型从安全合规转向自利性辩护。研究还发现，系统提示可以覆盖这些精调效果，凸显了AI对齐中训练数据、精调和提示之间的相互作用。
-
新框架利用AI模型改进白血病细胞分类
研究人员开发了一个新的白血病细胞分类框架，该框架采用了一个利用预训练视觉基础模型的两阶段流程。第一阶段使用超过122,000张图像对白血病和非白血病进行二元分类，第二阶段使用近70,000张图像对阳性病例有条件地分类为急性淋巴细胞白血病（ALL）和急性髓系白血病（AML）。该研究对DinoBloom、BiomedCLIP和CLIP三个编码器进行了基准测试，通过线性探测、低秩自适应（LoRA）和检索增强分类（RAC）模块评估它们的性能，…
-
新的量化方法旨在降低LLM的计算成本
两篇新的研究论文介绍了一种量化大型语言模型（LLM）的新颖方法，以减少其计算足迹。LoRAQuant专注于低秩自适应（LoRA）适配器的混合精度量化，使用奇异值分解将重要信息集中到更高精度的组件中，同时将其余部分量化为超低比特宽度。ReRound通过采用具有条件扩散模型的重构舍入技术来解决无校准量化中的中点歧义，特别有利于较小的LLM，并优于标准的四舍五入到最近的方法。
-
新的防御系统LoRAScan可检测LLM适配器中的后门提示
研究人员开发了LoRAScan，这是一种新颖的防御机制，旨在检测大型语言模型低秩适配（LoRA）模块中的后门提示。该方法识别出在干净输入时表现出稳定激活模式，但在存在触发器时显示出集中峰值的特定插入位点。LoRAScan在推理时运行，不改变适配器参数，成功拒绝了约98.49%的恶意输入，同时保持了对合法输入的低错误率。
-
FraQ方法通过高效重压缩改进了用于LLM的联邦LoRA
研究人员推出了一种名为FraQ的新方法，用于大型语言模型联邦低秩自适应（LoRA）的高效坐标空间重压缩。该方法通过重压缩聚合后的因子来解决联邦LoRA中固有的聚合不匹配问题。FraQ通过将堆叠的因子分解为正交基和紧凑的坐标矩阵来实现这一点，然后从Gram矩阵中恢复奇异谱。实验表明，FraQ在保持与未压缩基线相当的准确性的同时，显著降低了下行通信和服务器端重压缩的开销。
-
新的孟加拉语情感分析框架采用持续学习和LoRA
研究人员开发了SentiBanglaBERT，这是一个用于孟加拉语（一种低资源语言）情感分类的新型两阶段框架。该方法利用领域自适应持续预训练和低秩适配（LoRA）的参数高效微调，以高效地适应新闻风格数据。该框架还纳入了基于SHAP的可解释性，以提供对情感预测的语言学见解，特别关注孟加拉语的形态线索。
-
纳米卫星利用人工智能进行自主飞机监视
研究人员开发了一种新颖的从纳米卫星进行自主飞机监视的工作流程，解决了下行链路预算和稀缺训练数据的限制。该系统利用具有低功耗边缘张量加速器的CubeSat上的板载推理，并结合通过低秩自适应微调的扩散模型来为稀有飞机类别生成合成图像。这种方法显著提高了检测精度，增加了全局平均精度，并提高了少数类别的F1分数，同时还实现了实时处理能力。
-
新研究推动LoRA微调理论与实践发展
研究人员在大型语言模型微调的低秩自适应（LoRA）方面取得了新的理论和实践进展。一项研究提供了一个理论框架，为LoRA的样本复杂度建立了匹配的上下界，并为最优秩选择提供了指导。第二项研究引入了PrunedLoRA，一种使用结构化剪枝从过度参数化的初始化中创建更具表现力和更紧凑的LoRA适配器的方法，在各种任务上表现优于标准LoRA。
-
新框架简化了音乐源分离模型的训练与评估
研究人员开发了 MSST（Music-Source-Separation-Training），一个开源框架，旨在简化音乐源分离模型的训练和评估。这个统一的接口支持各种模型架构、数据预处理技术和损失函数，便于快速实验和消融研究。该框架还包含了滑动窗口推理、测试时增强和低秩自适应（LoRA）等实用方法，以提高分离质量。
-
IFCLoRA方法通过拓扑感知秩分配增强大语言模型微调
研究人员推出了一种新颖的大语言模型参数高效微调方法IFCLoRA，它改进了现有的LoRA和AdaLoRA等技术。IFCLoRA在微调前采用拓扑感知秩分配策略，利用任务条件交互图来估计模块适应重要性。该方法在各种模型和任务上持续优于先前的方法，例如在LLaMA 3 8B模型上进行数学推理时，秩为8时提升了1.82个百分点，同时保持了与标准LoRA相当的训练成本。
-
新研究探索自适应秩分配以实现高效的LLM微调
两篇新研究论文介绍了参数高效微调（PEFT）大型语言模型的先进方法。第一篇论文提出了LAARA框架，该框架根据轻量级Fisher估计动态地为不同的Transformer层分配适配器秩，在GLUE和MathInstruct等基准测试中的参数效率和性能方面优于LoRA和AdaLoRA等现有方法。第二篇论文StatLoRA将秩分配视为一个统计假设检验问题，利用从AdamW等优化器的渐近正态性理论导出的估计p值来确定保留哪些组件。实验表明，S…
-
新框架通过持续学习提高数字孪生可靠性
研究人员开发了一个新框架，以提高数字孪生（物理系统的虚拟模型）的可靠性。该框架解决了“概念漂移”问题，即随着现实世界条件的变化，虚拟模型的准确性会随时间下降。它集成了新颖的漂移检测系统、使用低秩自适应（LoRA）的高效参数高效持续学习以及统计验证，以确保更新能提高预测性能。该框架在随机线性系统和增材制造过程中进行了测试，成功地维持了基于神经网络的数字孪生的准确性和不确定性量化。
-
新的 Dysco 方法提高了联邦学习中 LoRA 的稳定性 · 已跟踪 2 个来源
研究人员开发了一种名为动态子空间增强 (Dysco) 的新方法，以解决在使用低秩自适应 (LoRA) 微调大型语言模型时联邦学习中出现的稳定性问题。Dysco 通过动态分配客户端特定的 LoRA 子空间来解决数据-参数干扰问题，将聚合视为一个子空间分配问题，而不仅仅是参数平均。在合成任务和使用 Llama 3.2 1B 的 MIMIC-IV 临床数据上进行的实验表明，Dysco 显著减少了干扰，提高了模型性能，并且在开销极小的情况下优…
-
新型LSTrans模型为可穿戴设备提供高效心电图分类
研究人员开发了LSTrans，这是一种新颖的轻量级混合模型，用于计算能力有限的设备上的自动化心电图（ECG）分类。该模型结合了1D卷积骨干网络和Transformer编码器，并利用低秩自适应（Low-Rank Adaptation）来减少其参数数量。采用了知识蒸馏技术将大型模型的诊断能力迁移到LSTrans，该模型在实验中表现出具有竞争力的诊断灵敏度和显著提高的资源效率。
-
LoCA 方法高效地为卷积层适配视觉基础模型
研究人员推出了一种名为 LoCA（Low-Rank Convolutional Adaptation，低秩卷积适配）的新颖方法，可高效地对视觉基础模型进行微调。与主要为 Transformer 架构设计的现有 LoRA 技术不同，LoCA 专门针对卷积核进行了优化。它通过解耦通道和空间适配，并利用奇异值分解来优化空间基，从而解决了卷积层中空间-通道纠缠的挑战。该方法旨在保留预训练的空间先验，并在细粒度分类和域泛化语义分割等任务中展现出…
-
新的REAL-OW框架实现了无排练的开放世界物体检测
研究人员开发了REAL-OW，一种用于开放世界物体检测（OWOD）的新型框架，无需数据排练。该方法使用带有低秩自适应（LoRA）的协作适配器架构来分离通用知识和特定任务知识。为了解决表示漂移问题，REAL-OW引入了双阶段物体性建模（DSOM），通过在特征聚合和边界巩固之间交替来稳定物体性分布。该方法取得了最先进的性能，在检测精度和未知物体发现方面优于现有的基于排练的方法。
-
AI利用新发异常检测技术检测临床前组织病理学中的毒性
研究人员开发了一个AI框架，利用全切片图像检测临床前组织病理学中的毒性。该系统可以识别健康组织、已知病理，并标记出具有新发异常的样本。通过使用低秩自适应微调Vision Transformer并采用马氏距离进行异常检测，该方法旨在提高药物开发中毒性评估的效率和规模。