FormGym

新基准FormGym测试AI代理的填表能力

研究人员推出了FormGym，这是一个旨在评估AI代理完成文书工作能力的新基准，特别是在没有OCR的纯图像格式下。该基准包含55份文件和432个字段，需要多模态理解和工具使用。初步测试显示，基线视觉语言代理（VLAs）和GUI代理的准确性非常低，这促使了FieldFinder的开发，一个帮助LLM定位表单字段的工具。FieldFinder的集成显著提高了模型在各种条件下的性能。