DAPFAM

研究对专利数据任务上的22个模型进行基准测试

一项新研究评估了22种不同的模型，从小型编码器到大型指令微调LLM，在处理专利数据以完成检索、分类和聚类等任务方面的能力。研究发现，微调的有效性高度依赖于特定任务，并且在一个领域获得的收益并不总是能转移到其他领域。虽然同一系列中的大型模型通常表现更好，但跨系列比较显示结果不稳定，小型模型在特定任务上有时会优于大型模型。研究还强调，结合摘要和权利要求信息可显著提高检索和分类效果，但所有模型在处理域外查询时都遇到了困难。