研究人员推出了JFinBench,这是一个旨在评估大型语言模型(LLM)在日本金融任务上表现的新基准测试。该基准测试是可持续更新的,使用最近的认证考试题目来缓解静态基准测试中常见的数据污染问题。在评估中,Claude Fable 5和GPT-6 Astra表现出色,准确率超过93%,而开源模型Kimi K3.1 Pro则表现落后。研究还发现,为模型提供终端和网络访问等工具可以提高性能,但内部知识仍然是一个重要因素。 AI
影响 为评估LLM在专业金融领域(特别是日本市场)的性能建立了一个新的、可持续更新的基准测试。
排序理由 学术论文,介绍了新的基准数据集和评估结果。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- Claude Fable 5
- DagsHub
- Gotit.pub
- GPT -6 Astra
- Hugging Face
- JFinBench
- Kimi K3.1 Pro
- ScienceCast
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →