Parameter-Efficient Fine-Tuning
PulseAugur coverage of Parameter-Efficient Fine-Tuning — every cluster mentioning Parameter-Efficient Fine-Tuning across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新的MLLM框架通过图检索增强推荐系统
研究人员开发了MGRASRec，一个利用多模态大语言模型（MLLMs）的顺序推荐新框架。该方法通过整合协同过滤信号和多模态相似性，从用户-物品交互图中检索结构化路径，从而增强推荐效果。通过将这些信号直接整合到MLLM提示中，MGRASRec避免了循环MLLM推理的计算开销，并在多个数据集上取得了卓越的性能。
-
参数高效微调方法：一项比较研究
一篇新的arXiv论文研究了参数高效微调（PEFT）方法，比较了包括LoRA系列方法和DoRA在内的六种技术。研究发现，虽然谱保持通常被认为是关键优势，但许多PEFT方法已经近似了这一点，显式的几何保持可能并非严格必需。研究突出了不同方法在适应性和保留性之间的明显权衡，其中LoRA显示出良好的平衡，DoRA取得了更高的分数，而PiSSA则带来了更大的保留成本。干预措施表明，对主导谱分量的修改对于降低通用文本困惑度和基础图像漂移最为有效。
-
新的 PEFT 方法 GPart 和 GDLoRA 旨在匹配全量微调的性能
两篇新的研究论文介绍了用于大型语言模型参数高效微调 (PEFT) 的新颖方法，旨在缩小与全量微调的性能差距。第一篇论文 GPart 提出了一种使用全局参数分区的端到端等距微调方法，该方法将可训练参数直接映射到具有固定几何形状的权重空间。第二篇论文 GDLoRA 将全量权重梯度分解以提取“法向梯度”分量，然后使用该分量直接更新基准权重，以补充标准的 LoRA 优化。这两种方法在各种基准测试中，在显着更低的参数预算下，均展示了与现有 PE…
-
新方法提高点云Transformer的效率
研究人员推出了一种名为位置锚点调优（Position Anchor Tuning, PAT）的新型参数高效微调方法，旨在提高预训练点云Transformer的推理效率。PAT通过使用令牌聚合和扩展模块来解决多头注意力和前馈网络块中的计算成本。这些模块提取代表性令牌进行处理，从而降低计算负载，然后将学习到的表示传播回原始令牌。该方法还结合了基础共享低秩适配（BSLoRA），以通过最少的训练参数实现任务特定表示的有效学习。
-
新的DROS方法增强了基础模型在遥感领域的适应性
研究人员开发了一种名为域感知松弛正交子空间适应（DROS）的新方法，以提高微调大型基础模型在遥感任务中的效率。该方法解决了“子空间不匹配”问题，即固定的适应子空间与遥感特定数据分布不匹配。DROS将低秩适应重新构建为数据条件子空间学习，利用下游数据的激活统计信息来指导子空间初始化和灵活的几何变换。一项名为MM-DROS的扩展通过实现多模态设置中的高效跨模态交互，进一步增强了这一能力。实验表明，DROS在不增加推理成本的情况下，实现了最…
-
使用 LoRA 和 Unsloth 使 LLM 微调更易于访问 · 跟踪 2 个来源
两篇文章详细介绍了使用参数高效技术微调大型语言模型（LLM）的方法。第一篇文章解释了如何使用 LoRA（低秩适配）和 Unsloth 微调 7B LLM，展示了自定义普什图方言数据集的训练损失显著降低。第二篇文章重点介绍了 Unsloth Studio，概述了以 ChatML 格式准备对话数据集的过程，以及微调 Llama-3.1-8B 等模型以完成特定任务，并将微调与检索增强生成（RAG）进行对比。
-
新的基准和方法推动AI的3D场景理解能力 · 跟踪3 个来源
三篇新研究论文介绍了用于改进AI中3D场景理解的新基准和方法。SceneBench 提供了一个具有详细注释的分层数据集，用于评估视觉语言模型在空间推理方面的能力。Spheriverse 提供了一个大规模的球形观测数据集，并引入了 SphereOcc 框架，以弥合球形和笛卡尔表示之间的差距，从而更好地进行语义占用预测。PointPiT 提出了一种用于3D点云基础模型的参数高效微调技术，可在显著降低计算成本的同时实现有效的场景级理解。
-
新的 SVGD 框架通过几何感知增强 AI 模型微调
研究人员开发了一个新的框架，用于大型预训练模型的参数高效微调，该框架利用了低秩流形的几何结构。该方法在 Stiefel 流形上利用 Stein 变分梯度下降 (SVGD)，实现了不确定性量化和更校准的适配器。实验表明，与在欧几里得空间中运行的现有方法相比，这种几何感知的 SVGD 方法实现了更高的预测精度。
-
新的HiVe框架通过自适应提示增强LLM多任务学习能力
研究人员推出了一种新颖的提示调优框架HiVe，旨在增强大型语言模型（LLM）的多任务学习能力。与使用静态或固定分层提示结构的现有方法不同，HiVe根据输入的具体性动态组合提示。这是通过构建一个模拟任务间关系的模型层次结构，并在推理过程中采用垂直混合专家（V-MoE）机制来实现的。实验表明，HiVe在各种任务上都优于当前的提示调优基线，证明了其在自适应提示专业化方面的有效性。
-
新的基准和方法解决了跨模态和跨领域的 LLM 幻觉问题
研究人员正在开发新的方法和基准，以检测和减轻各种模态和领域的 LLM（大语言模型）中的幻觉。OmniHallu 为检测多模态理解和生成任务中的幻觉提供了一个统一的框架，并得到了新基准的支持。另一种方法侧重于特定领域的幻觉检测，结合分类、不确定性量化和偏好优化，以减少 Qwen2.5 等模型中的错误。对于法律应用，LexAgentHallu 被引入为一个基准，用于分析工具增强型法律代理中的幻觉，并突出代理的失败。此外，证据对齐实体验证 …
-
FrameFT 使用稀疏系数减少微调内存占用
研究人员推出了一种新颖的参数高效微调 (PEFT) 策略 FrameFT，旨在减少微调大型 Transformer 模型的内存占用。与 LoRA 等现有方法不同，FrameFT 使用融合帧基内的稀疏系数来建模参数更新，允许跨模型层共享帧。这种方法在保持或提高监督微调任务（包括语言和视觉应用）性能的同时，显著减少了可训练参数的数量。
-
新的FAN-LoRA方法改进了基础模型的医学图像分割
研究人员开发了FAN-LoRA，一种将视觉基础模型（如分割一切模型（SAM））适配到医学成像领域的新方法。现有方法在处理域偏移时存在困难，导致性能下降。FAN-LoRA通过解耦频率分量来解决这个问题，使用B样条驱动的低通分支处理全局结构，并使用傅里叶高通分支处理局部纹理。实验表明，FAN-LoRA在提高Dice分数和减少医学成像基准测试中的边界误差方面优于现有方法。
-
PEFT 将罗马乌尔都语中大型语言模型的仇恨言论检测 F1 分数提升至 93% 以上
一篇新研究论文探讨了参数高效微调 (PEFT) 方法，特别是低秩自适应 (LoRA)，在罗马乌尔都语仇恨言论检测中的有效性。研究发现，虽然在 Mistral、LLaMA、Falcon 和 BERT 等模型上进行零样本推理取得了中等结果（F1 分数 0.56），但使用 PEFT 进行微调可将性能显著提高到 0.93 以上的 F1 分数。这种方法展示了强大的计算效率，使其成为处理低资源语言的可行解决方案。
-
新的CKAA框架提升持续学习模型鲁棒性
研究人员推出CKAA，一个旨在提高持续学习模型在面对误导性任务识别时的鲁棒性的新框架。该框架包含双层知识对齐（DKA）以更好地区分正确和错误特征子空间，以及任务置信度引导的适配器混合（TC-MoA）用于推理过程中任务特定知识的自适应聚合。实验表明，CKAA在持续学习的参数高效微调方法上优于现有方法。
-
新的sMuon方法增强了神经网络的低秩微调
研究人员开发了一种名为sMuon的新方法，以改进神经网络的参数高效微调（PEFT）。该技术通过在低秩设置中近似Muon目标，解决了Muon优化器与常见的LoRA PEFT方法之间的不兼容问题。该实现仅使用矩阵乘法运算，并在监督微调和ReLoRA预训练实验中显示出有利的结果，提供了适度的性能改进。
-
小波微调 (WaveFT) 为 AI 模型提供先进的参数效率
研究人员推出了一种新颖的参数高效微调 (PEFT) 方法——小波微调 (WaveFT)，该方法利用了权重矩阵小波域中的稀疏性。与 LoRA 等现有方法不同，WaveFT 通过学习稀疏更新，提供了对可训练参数更精细的控制，这可以实现高秩更新并避免 LoRA 的子空间限制。对视觉和语言任务的理论分析和实验结果证明了 WaveFT 的有效性，在视觉任务的 PEFT 方法中取得了最先进的性能。WaveFT 方法已集成到 Hugging Fac…
-
新方法加速 Vision Transformer 在边缘设备的适配
研究人员开发了更有效地将 Vision Transformer (ViT) 适配到特定任务的新方法。一种方法使用遗传编程来演化层特定的标量函数，以近似归一化层，在 ImageNet-1K 上实现高精度，同时降低边缘设备的计算复杂度和内存流量。另一种方法，Circuit Fine-Tuning (CFT)，使用电路发现来识别和微调 ViT 的关键模块，与标准参数高效微调技术相比，在各种基准测试中显著减少了训练时间和 FLOPs。
-
LoRA 支持大型语言模型的有效微调
LoRA（低秩适应）是一种能够有效微调大型语言模型的技术。它通过冻结原始模型的权重，并在特定层中注入更小、可训练的矩阵来实现，从而显著减少需要更新的参数数量。这种方法，以及 QLoRA 等变体，使得在不要求海量计算资源的情况下，使用自定义数据集训练和调整强大的 AI 模型更加容易。
-
LoRA 微调为初创公司提供高效的 LLM 适应方案
LoRA（低秩适应）是一种显著减少微调大型语言模型所需计算资源的技术。虽然 LoRA 常被描述为一种更经济的方法，但它提供的不仅仅是成本节省，还能更有效地将模型适应特定任务。这种方法对于计算资源有限的初创公司尤其有益。
-
HyPASE框架使用双曲几何进行高效LALM微调
研究人员开发了HyPASE，一个利用双曲几何进行参数高效微调大型音频语言模型（LALMs）以用于语音情感识别（SER）的新型框架。与在欧几里得空间中操作的传统方法不同，HyPASE采用了Poincaré球模型来更好地捕捉情感线索的多粒度性。该框架包括一个双曲几何适配器（HGA）和一个情感感知多容量跨模态聚合器（EMCA），它们共同提高了在MELD和IEMOCAP等基准测试上的性能，尤其是在类别不平衡数据集上。这种方法为将LALMs适应…