PulseAugur
中
实时 08:45:10
实体 Magnitude Principle

Magnitude Principle

PulseAugur coverage of Magnitude Principle — every cluster mentioning Magnitude Principle across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_366128 ·

    研究发现:LoRA 适配器方向在低数据量情况下最重要

    研究人员分析了 LoRA 适配器输入子空间的初始方向在少样本适应中重要的条件。他们发现,当标记数据稀缺且激活子空间捕捉任务结构时,方向最为重要。这种对起点的敏感性使得任务对齐初始化在这种情况下特别有用。该研究引入了 PivotLoRA,它使用激活 PCA 初始化适配器并应用正交枢轴,在包括 BERT-base 和 Llama 解码器在内的各种分类任务和模型尺寸上均显示出优于 vanilla LoRA 的性能。