crypto-asset transaction

新基准评估 LLM 在加密会计任务上的能力

研究人员推出了 Crypto Accounting Bench (CAB)，这是一个旨在评估大型语言模型在重建加密资产交易财务日记账条目能力的新基准。CAB 包含 118 个源自真实组织数据的任务，涵盖了交易机制、资产数量、法律背景和会计科目表等复杂细节。该基准旨在评估模型是否能生成完整且平衡的条目，包括所有必需的账户、借贷方、金额和数量。初步评估显示，领先模型的平均得分为 77.43%，最佳模型的 Pass@3 率达到 56.78%…