Low Rank Adaptation
PulseAugur coverage of Low Rank Adaptation — every cluster mentioning Low Rank Adaptation across labs, papers, and developer communities, ranked by signal.
7 天有情绪数据
-
视觉基础模型增强心脏MRI重建
研究人员探索了使用预训练的视觉基础模型来改进心脏MRI重建，这是一个旨在从欠采样数据创建高质量图像以加快扫描速度的过程。他们提出的框架将CLIP、BiomedCLIP和DINOv2等冻结或参数高效适应的视觉编码器集成到Transformer架构中。在CMRxRecon2023和CMRxRecon2024基准上的实验表明，这些预训练模型在数据稀缺场景和跨数据集知识迁移方面，始终优于从头开始训练的Transformer。DINOv2成为性…
-
新的黎曼几何增强了深度神经网络的低秩适应性
研究人员开发了一个新的黎曼几何框架，以提高深度神经网络低秩适应（LoRA）的效率。这种新度量确保每次权重更新都能更好地逼近完全微调，从而使优化更有效。实验表明，这种预处理方法能够使权重矩阵更接近通过完全微调获得的权重，在语言和视觉任务中表现出改进的性能。
-
Arm2Air将机器人手臂骨架迁移至无人机以优化中继部署
研究人员开发了Arm2Air，这是一种在复杂城市环境中优化无人机（UAV）中继网络部署的新颖方法。该技术将来自机器人手臂的避障骨架迁移到无人机上，显著减少了规划运行时间并提高了通信容量。Arm2Air展示了计算和数据效率，性能优于传统规划器，并在有限的训练数据下减少了位置误差。
-
AI模型针对自闭症听觉过敏研究进行微调
一项博士研究项目正在探索针对非典型听力人群的音频情感识别，特别是关注自闭症患者的听觉过敏。该方法通过在具有神经典型听众情感反应的数据集上使用低秩适配（LoRA）对对比语言-音频预训练（CLAP）模型进行微调。此方法旨在从有限的标注数据中泛化情感反应，以应对评估个体过敏性的挑战。
-
PEFT技术增强SAM用于肝脏肿瘤分割
研究人员探索了使用Segment Anything Model (SAM)进行CT肝脏肿瘤分割的参数高效微调（PEFT）技术。该研究比较了几种PEFT方法，包括LoRA、QLoRA、Conv-Adapter以及一种新颖的方向谱Top-K适配器（DiSCo）。虽然Conv-Adapter和LoRA实现了最高的分割精度，但DiSCo在每准确度可训练参数方面表现出更高的效率。
-
新的DROS方法增强了基础模型在遥感领域的适应性
研究人员开发了一种名为域感知松弛正交子空间适应（DROS）的新方法，以提高微调大型基础模型在遥感任务中的效率。该方法解决了“子空间不匹配”问题，即固定的适应子空间与遥感特定数据分布不匹配。DROS将低秩适应重新构建为数据条件子空间学习，利用下游数据的激活统计信息来指导子空间初始化和灵活的几何变换。一项名为MM-DROS的扩展通过实现多模态设置中的高效跨模态交互，进一步增强了这一能力。实验表明，DROS在不增加推理成本的情况下，实现了最…
-
新基准和调查推动遥感图像分割发展
研究人员推出了VPRef，这是一个用于指代遥感图像分割的新基准测试，旨在解决由视觉和文本领域漂移引起的性能下降问题。该基准测试包含超过46,000个语言-图像-标注三元组，并配备了一个基于Segment Anything Model (SAM3) 和低秩适配 (LoRA) 的参数高效适配框架。该框架采用伪标签驱动的自训练和随机多粒度文本提示混合技术，在仅修改模型一小部分参数的情况下提高了分割精度。另一项调查回顾了遥感图像语义分割中的深…
-
LoRA-RC: 稳定储层计算的低秩适应
研究人员推出了一种新颖的、使用低秩校正来适应储层计算系统的方法 LoRA-RC。该方法通过在线适应循环矩阵来解决静态储层因系统漂移而导致的性能下降问题。LoRA-RC 通过将适应后的矩阵投影到谱范数球上并应用低通滤波器来确保稳定性和可靠性，从而保证循环矩阵保持在认证的收缩集内。在参数漂移的 Lorenz 系统上进行的实验表明，与固定储层和仅适应读出器的方法相比，LoRA-RC 显著降低了预测误差。
-
新框架证明了注意力和LoRA模型的可训练性
研究人员为机器学习模型中的多头注意机制和低秩自适应（LoRA）的随机训练建立了一个严格的框架。他们的工作证明，对于某些正则化，注意层和LoRA都会为其各自的Gibbs测度产生Poincaré不等式。这一发现很重要，因为Poincaré常数对于LoRA来说独立于数据维度，对于多头注意力来说独立于头维度，根据最近的结果，这意味着模仿SGD的随机微分方程可以最小化相关的损失。这些注意力和神经网络的可训练性结果是新颖的，并且不依赖于数据或模型大小的假设。
-
LLM 使用搜索历史数据模拟用户知识
一篇新发表在 arXiv 上的研究论文探讨了使用个体文本语料库（如搜索历史）来模拟用户特定知识的潜力。研究人员发现，经过低秩适配（Low-Rank Adaptation）微调的 Qwen3-1.7B 大型语言模型在预测个体知识响应方面显示出希望。虽然该模型在公开问题上优于人类参与者，但在非公开问题上表现较差，这可能表明存在训练数据污染。研究还表明，将个体语料库整合到检索增强生成（retrieval-augmented generati…
-
AI模型适应阿尔茨海默病MRI任务，只需少量重新训练
研究人员开发了一种可泛化的阿尔茨海默病相关脑部MRI任务特征提取器，展示了迁移学习在神经影像学中的有效性。通过使用低秩适配（LoRA）技术，仅增加约1%的可训练参数来调整预训练的3D卷积神经网络（CNN），该模型在分类认知状态和预测生物标志物方面取得了高精度。值得注意的是，调整后的模型在未见过的数据集上无需重新训练即可表现良好，表明其作为阿尔茨海默病研究中可重复使用的基础模型的潜力，即使在标记数据有限的情况下也是如此。
-
新型视觉-语言模型提升月球陨石坑检测精度
研究人员开发了一种新的视觉-语言模型，用于在月球上精确检测陨石坑，该模型基于Vision Transformer，并利用了OWLv2模型。该方法使用IMPACT项目的数据集进行了微调，该数据集包含高分辨率月球勘测轨道飞行器相机（Lunar Reconnaissance Orbiter Camera）图像上手动标记的陨石坑。该模型采用参数高效的微调策略，结合了低秩适配（Low-Rank Adaptation）和用于定位与分类的组合损失函…
-
SAM3-LoRA采用参数高效技术对基础模型进行缺陷分割的适应
研究人员开发了SAM3-LoRA，一种用于SAM3基础模型进行多类别结构缺陷分割的参数高效适应技术。该方法利用低秩适应（LoRA）对SAM3进行微调，所需参数远少于完全微调。该研究引入了一种新颖的监督程序，直接使用类别名称作为提示从COCO风格的实例分割数据中训练模型，无需提示模板或学习到的嵌入。此外，它通过采用详尽的硬负面提示（包括使用不存在的类别进行查询）来解决模型预测与文本条件脱钩的特定失败模式。这种方法在分割精度方面取得了显著…
-
新研究揭示有效的 LoRA 写入具有稀疏性和结构性
研究人员发现，语言模型中有效的低秩适应 (LoRA) 更新出人意料地是稀疏且结构化的，而不是均匀分布在参数上。他们使用一种称为学习基 LoRA (Learned-Basis LoRA) 的技术证明，这些更新的特定子集，尤其是在后期投影组件中，对模型行为产生不成比例的巨大影响。这表明关注这些集中的区域可以带来更有效的微调，并加深对模型如何学习的理解。
-
新的LUViT方法弥合了LLM和Vision Transformer的模态鸿沟
研究人员开发了语言解锁视觉Transformer（LUViT），这是一种将大型语言模型（LLM）与视觉Transformer（ViT）集成用于视觉任务的新颖方法。LUViT通过使用掩码自动编码（MAE）联合训练ViT骨干网络，并使用低秩适应（LoRA+）层来适应LLM融合块，从而解决了模态不匹配问题。这种共同适应策略使ViT能够生成与LLM对齐的特征，并使LLM能够有效地解释视觉信息，从而在各种下游视觉任务上提高性能。
-
通过持续预训练将LLM应用于瑞典新闻业
研究人员通过在数百万篇新闻文章的精选数据集上进行持续预训练，将大型语言模型（LLM）应用于瑞典新闻业。这种适应过程显示出生成质量和事实知识的提高，特别是与经验回放相结合以防止遗忘时。该研究还探讨了低秩适应（Low Rank Adaptation）等参数高效微调方法，并发现虽然生成能力有所提高，但判别任务并未获得类似收益。至关重要的是，该研究强调了领域特定评估基准的必要性，因为现有的瑞典基准未能准确反映模型在领域内的表现。
-
通过持续预训练将LLM应用于瑞典新闻业
研究人员探索了通过持续预训练将大型语言模型应用于瑞典新闻业。他们整理了一个包含数百万篇新闻文章的数据集，并开发了一个特定领域的基准来评估性能。研究发现，持续预训练提高了生成质量和事实知识，尤其是在结合经验回放以防止遗忘时。然而，在判别性任务上没有看到改进，并且只有通过低秩适应等特定微调方法才能完全实现收益。
-
新方法增强LoRA在模型适应中的效率和稳定性
研究人员开发了两种新方法来提高参数高效模型适应中使用的低秩适应（LoRA）技术的效率和稳定性。归一化低秩适应（NoRA）在训练期间对降维矩阵进行归一化，以加速收敛并提高性能，而无需增加参数或计算开销。LoRA的激活边界匹配（ABM-LoRA）使用任务诱导的激活边界符号作为新适配器的目标，提高了LoRA对初始化的敏感度，并在各种基准测试中优于标准LoRA。
-
MixLoRA-DSI 提供高效的生成检索模型更新
研究人员开发了MixLoRA-DSI，一个旨在高效更新包含新文档的生成检索模型而无需完全重新训练的新框架。该方法采用可扩展的低秩适应（LoRA）专家混合模型和一种分层策略，仅在检测到分布外文档时引入新专家。在NQ320k和MS MARCO Passage数据集上的实验表明，MixLoRA-DSI在实现比完整模型更新更好的性能的同时，训练成本显著降低，参数开销极小。
-
AI University框架通过LLM学习助手增强工程教育
研究人员开发了“AI University”（AI-U），一个旨在为工程课程创建AI驱动的学习助手的框架。该系统利用微调的大型语言模型（LLM）结合检索增强生成（RAG）技术，根据课程视频、笔记和教科书等特定课程材料提供响应。一项涉及研究生级别有限元方法（FEM）课程的案例研究表明，与基础LLM相比，AI-U在课程内容响应一致性方面得到了显著提升，并通过定量测量、LLM评估、专家评审和用户研究得到了验证。