office-action response

新基准评估大语言模型代理在专业专利任务上的表现

研究人员推出了一款名为 PatentAgentBench 的新基准，旨在评估大语言模型（LLM）代理在执行专业专利相关任务方面的能力。该基准包含八个不同任务套件的 510 个实例，例如新颖性检索、自由实施分析、专利撰写和审查意见答复等，这些任务均源自真实的专利记录和专业材料。对四种代理框架下的七个大语言模型的初步评估显示，当前的 AI 系统在可靠识别新颖性、评估风险以及理解专利工作流程所需的细微意图方面仍面临重大挑战。