PulseAugur
中
实时 08:20:38
实体 Low Rank Adaptation

Low Rank Adaptation

PulseAugur coverage of Low Rank Adaptation — every cluster mentioning Low Rank Adaptation across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
21
90 天内 91
发布 · 30天
0
90 天内 0
论文 · 30天
20
90 天内 89
层级分布 · 90 天
主题
关系
情绪 · 30 天

8 天有情绪数据

最近 · 第 1/5 页 · 共 92 条
  1. TOOL · CL_366240 ·

    新研究详细介绍了调整 AI 模型以适应灵巧机械手的最佳实践

    研究人员探索了将视觉-语言-动作 (VLA) 模型应用于灵巧操作任务的方法,由于与平行夹爪相比,多指手数据集稀缺,这具有挑战性。该研究提出了一种使用 LEAP 手和 $\pi_{0.5}$ 模型进行监督微调 (SFT) 和扩散引导强化学习 (DSRL) 的组合。关键发现表明,SFT 的成功并不能可靠地预测 DSRL 后的性能,并且在仅训练动作专家时冻结视觉-语言模型可以产生最易于适应的策略。研究建议采用这种方法,建议不要将 SFT 推…

  2. TOOL · CL_365752 ·

    SageMaker 推出全量微调功能,增强 LLM 定制能力

    Amazon SageMaker AI Serverless 模型定制现已支持全量微调 (FFT),这是一种同时更新所有模型参数的方法,可实现对特定领域和任务的卓越适应。该方法与参数高效微调 (PEFT) 方法(如 LoRA)形成对比,后者仅更新部分参数,可能限制在复杂任务上的性能。FFT 特别有利于大型数据集,与通用模型相比,可提供更高的准确性和成本效益。

  3. TOOL · CL_352403 ·

    Camera3R框架将三维重建模型适配到新型相机

    研究人员开发了Camera3R,一个旨在增强三维重建模型的新型框架。该系统利用低秩适配技术,能够高效地将通常在透视数据集上训练的现有模型扩展到处理非透视图像和异构相机模型。Camera3R仅需极少的重新训练,仅增加0.5%的额外参数和不到一天的训练时间,同时保持了原始模型在透视输入上的性能。

  4. TOOL · CL_358361 ·

    MoLaRx框架解决了VLM轨迹规划中的域偏移问题

    研究人员开发了一个名为MoLaRx的新框架,以解决用于轨迹规划的视觉语言模型(VLM)中的域偏移问题。与以往统一处理域偏移的方法不同,MoLaRx识别出偏移是跨模态(图像与文本)和VLM内部层级结构化的。该框架使用因果重要性评分来精确定位这些偏移位置,然后对特定层级应用有针对性的修复技术,例如最大均值差异或低秩适应。在不同的VLM架构和驾驶数据集上的评估表明,与统一适应方法相比,MoLaRx显著减少了轨迹误差,同时需要更少的训练参数和…

  5. TOOL · CL_344262 ·

    FILO框架统一LLM的低秩适应,提高效率

    研究人员推出FILO,一个新颖的Fisher-几何框架,旨在统一和改进大型语言模型的低秩适应(LoRA)技术。FILO通过提供一种映射预处理方向而不直接求逆的方法,解决了因子空间更新中的奇异算子挑战。该框架对现有的LoRA优化器进行了分类,并提出了FILO-Adafactor,它使用Adafactor预处理器和闭式因子空间求解。这种新方法在包括GPT-2、Mistral-7B和Qwen2-7B在内的各种基准和模型上,均展示出与现有方法…

  6. RESEARCH · CL_342371 ·

    新的融合锐化框架解决了跨传感器适应和传输效率问题 · 已追踪 2 个来源

    两篇新的研究论文提出了用于融合锐化(一种在遥感中用于融合多光谱和全色图像的技术)的新型框架。第一个,ReTailor,通过优化轻量级残差特征定制器来解决将融合锐化模型实时适应新传感器的挑战。第二个,TOP,引入了一个面向传输的框架,它统一了潜在编码、机载融合锐化和高效下行传输,在带宽限制下显著减少了传输负载,同时保持了融合质量。

  7. TOOL · CL_342252 ·

    新研究定义了语言模型微调的“行为速率”

    一篇新的研究论文引入了“行为速率”的概念,用于量化微调语言模型所需的信息。该速率衡量了保留模型微调增益特定比例的适配器的最小压缩大小。研究发现,该速率同时依赖于数据集和基础模型,并且压缩甚至可以过滤掉噪声并提高泛化能力,即使是针对损坏数据训练的适配器也是如此。

  8. TOOL · CL_336447 ·

    新的MARL框架使用事件实现动态代理行为

    研究人员引入了一个新的多智能体强化学习(MARL)框架,解决了固定代理身份与固定行为相关的局限性。这种新颖的方法使用事件作为触发器来诱导行为多样性,使代理能够随着任务条件的演变动态地扮演不同的角色。该框架结合了神经流形多样性(NMD)来创建一个富有表现力的行为流形,以及一个基于事件的超网络,该网络生成低秩自适应(LoRA)模块,用于即时策略重新配置。实证结果表明,该方法优于现有基线,并展示了零样本泛化能力,特别是在需要顺序角色重新分配的任务中。

  9. RESEARCH · CL_324969 ·

    新研究探讨视觉基础模型的高效微调与压缩

    近期 arXiv 上的两篇论文探讨了提高大型视觉基础模型效率的方法。第一篇论文由 Niclas Hergenröther 撰写,研究了视觉提示(VP)、线性探测(LP)、全微调(FFT)和低秩适配(LoRA)等数据高效微调技术,并比较了它们在不同模型架构(包括基于 Attention、Convolution 和 Mamba 的模型)上的性能。第二篇论文介绍了一个拓扑感知的离散化框架,使用生长神经网络气体码本和图引导掩码图像建模来压缩视…

  10. TOOL · CL_321549 ·

    新研究探讨了神经网络中低秩适应的奇异几何

    一篇新的arXiv论文深入研究了低秩适应(LoRA)的数学基础,这是一种用于高效微调大型神经网络的技术。该研究将LoRA视为一个奇异统计模型,这意味着其学习复杂度并非仅由参数数量决定。通过应用奇异学习理论的概念,特别是实数对数规范阈值(RLCT),论文分析了LoRA的参数化和预训练网络如何相互作用。研究表明,LoRA的几何形状受到前向-后向协方差矩阵的影响,该矩阵决定了低秩扰动的统计可观测性,并可能导致超越经典回归模型的复杂学习动态。…

  11. TOOL · CL_312277 ·

    新LSA-PAST方法增强AI在不遗忘旧知识的情况下学习新概念的能力

    研究人员推出了一种名为LSA-PAST的新方法,旨在改进组合任务的类别增量学习(CIL)。该方法解决了模型在学习由现有基元(如状态和对象)组合而成的新类别时,会遗忘先前学习到的概念的挑战。LSA-PAST在冻结的ViT中使用LoRA进行层特定适应,为组合的不同组件创建深度专业化适配器。此外,原型锚定适配器空间传输(PAST)通过仿射变换确保旧原型与新适配器的兼容性,从而在平衡准确性和知识保留方面取得了最先进的性能。

  12. TOOL · CL_308004 ·

    新理论解释大型模型中的低秩适应

    一篇新论文探讨了低秩适应(LoRA)的理论基础,LoRA 是一种广泛用于高效微调大型预训练模型的技术。该研究提出了一种新颖的方法,通过关注损失观察适应权重矩阵的有限秩线性映射,从而绕开了现有神经切线核(NTK)分析的局限性。这种观点表明,迹范数正则化鼓励低秩矩阵,而瓶颈秩控制着更新的维度,而不是样本量。该论文还详细介绍了多头注意力机制的具体优化方法,并为全局最小化器和泛化界提供了理论保证。

  13. TOOL · CL_301261 ·

    MARS方法通过自适应秩搜索优化多模态LLM微调

    研究人员开发了MARS(多模态自适应秩搜索),一种优化多模态大语言模型(MLLMs)微调的新颖方法。MARS解决了不同模态之间训练动态不平衡的挑战,这可能导致性能不佳。该方法利用双重缩放定律,高效搜索最优秩对,以平衡收敛速度并预测最终任务准确性,优于现有的启发式方法。

  14. TOOL · CL_301202 ·

    新方法发现AI图像生成适配器中的隐藏概念

    研究人员开发了一种新颖的方法来识别扩散模型中使用的LoRA适配器内未公开的概念。该技术旨在通过发现LoRA被训练来生成的内容来降低审核风险。该方法包括一个两阶段框架:子空间引导进化搜索(SGES)使用轻量级子空间对齐来有效地定位有前景的提示,然后是配对视觉识别(PVI)来视觉验证和确认发现的概念。

  15. RESEARCH · CL_301237 ·

    医学影像AI:前沿预训练增强ViT编码器任务对齐

    研究人员探索了医学影像基础模型的前沿预训练,特别关注将预训练目标与用于前列腺MRI分析的ViT编码器的下游任务进行对齐。通过在前列腺分割任务上对预训练的ViT编码器应用低秩适配(LoRA),该研究旨在提高任务对齐和后续性能。使用中心核对齐(CKA)进行的分析表明,前沿预训练的编码器的特征与微调编码器的特征显示出更大的相似性,这与三个下游任务的性能提升相关。

  16. RESEARCH · CL_312076 ·

    新的扩散模型增强了医学成像和通用图像生成

    研究人员开发了用于医学成像和通用图像生成的新扩散模型技术。一种方法MC-LDM使用多模态数据(如MRI和PET扫描)来预测阿尔茨海默病进展,将体积误差降低了18%。另一种方法为扩散模型引入了一个校正模块,以改进预测,提高样本质量,并实现无需牺牲结果即可进行蒸馏以加快推理速度。第三篇论文提出了具有小波激活的隐式神经表示,用于更高效、高保真地重建扩散MRI信号,在超分辨率和q空间插值方面显示出前景。

  17. TOOL · CL_313455 ·

    LLM2R 使用大型语言模型进行3D零件组装

    研究人员开发了LLM2R,这是一种新颖的方法,它将3D零件组装视为一个序列建模问题,使用预训练的仅解码器大型语言模型。该方法将零件信息压缩成几何标记,然后由使用低秩自适应(LoRA)调整的大型语言模型进行处理。LLM2R引入了可学习的摘要标记来聚合组装信息,从而通过一次前向传播即可预测所有零件的姿态,提高了准确性和可扩展性,尤其适用于具有大量零件的物体。

  18. RESEARCH · CL_287007 ·

    AutoAdapt框架实现低成本AI模型域扩展

    研究人员开发了AutoAdapt,一个旨在高效地将指令调优的AI模型扩展到新领域而无需昂贵完全重新训练的新框架。该系统自动识别潜在域,并为每个域训练单独的低秩适配器(LoRA),实现无参数路由。在14个基准测试中的评估显示,AutoAdapt的性能与完全重新训练的LoRA适配器相当,同时还能防止域干扰并实现模块化专业化。

  19. TOOL · CL_284832 ·

    视觉基础模型增强心脏MRI重建

    研究人员探索了使用预训练的视觉基础模型来改进心脏MRI重建,这是一个旨在从欠采样数据创建高质量图像以加快扫描速度的过程。他们提出的框架将CLIP、BiomedCLIP和DINOv2等冻结或参数高效适应的视觉编码器集成到Transformer架构中。在CMRxRecon2023和CMRxRecon2024基准上的实验表明,这些预训练模型在数据稀缺场景和跨数据集知识迁移方面,始终优于从头开始训练的Transformer。DINOv2成为性…

  20. TOOL · CL_284654 ·

    新的黎曼几何增强了深度神经网络的低秩适应性

    研究人员开发了一个新的黎曼几何框架,以提高深度神经网络低秩适应(LoRA)的效率。这种新度量确保每次权重更新都能更好地逼近完全微调,从而使优化更有效。实验表明,这种预处理方法能够使权重矩阵更接近通过完全微调获得的权重,在语言和视觉任务中表现出改进的性能。