EVICALC

EVICALC 系统在 DocSem 任务中准确率达 8.61%，凸显 OCR 挑战

一个名为 EVICALC 的系统，专为 DocSem 共享任务设计，在 1,730 个任务上实现了 8.61% 的联合准确率。该系统通过选择段落来处理 PDF，使用语言模型生成算术表达式，然后在本地评估这些表达式。一个单独的公开验证运行获得了更高的分数，准确率为 92.17%，证据 F1 为 1.00，尽管由于配置不同，这些指标不能直接比较。分析显示，光学字符识别错误（如合并文本块）等问题可能导致系统从不相关的内容中回答。