LiveMath

SoftSkill 方法将 LLM 技能压缩为紧凑的潜在控制

研究人员开发了 SoftSkill，一种通过将技能压缩为紧凑、连续的上下文对象来使大型语言模型适应特定任务的新方法。该方法使用可训练的“软 delta”来精炼冻结的主干模型，其性能显著优于传统的基于 Markdown 的技能文件。SoftSkill 在 SearchQA、LiveMath 和 DocVQA 等基准测试中显示出显著的准确性提高，同时大大减少了技能编码所需的 token 数量。