PulseAugur
实时 21:12:49
实体 Function-space Orthogonal Residual Adaptation

Function-space Orthogonal Residual Adaptation

PulseAugur coverage of Function-space Orthogonal Residual Adaptation — every cluster mentioning Function-space Orthogonal Residual Adaptation across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_119650 ·

    新的FORA技术在微调过程中保留LLM能力

    研究人员开发了一种名为FORA(Function-space Orthogonal Residual Adaptation)的新微调技术,旨在在大语言模型适应新任务的同时保留其现有能力。与以往关注权重空间代理的方法不同,FORA估计并保护与能力相关的激活子空间。该方法在Qwen3-1.7B模型上针对COGS和GSM8K等任务进行了测试,结果显示其比现有方法能更好地保留能力,同时在新任务上的性能权衡极小。研究表明,保护函数空间方向比权重…