研究人员测试了Anthropic、OpenAI和Google的六款AI聊天模型,要求它们根据经纬度坐标凭记忆识别旧金山的位置。模型在区分水域、公园、建筑物和街道方面的能力得到了评估,表现最好的模型在该城市地图上的准确率达到了86%。尽管街道对大多数模型来说是一个薄弱环节,但有些模型表现出了对密集网格区域与公园区域的理解。成本差异显著,一些表现最佳的模型在相同准确率下比其他模型便宜五倍。 AI
影响 展示了LLM的空间推理能力和反向地理编码的潜力,但也突出了街道级别细节的局限性。
排序理由 研究论文,详细介绍了测试LLM能力的实验。[lever_c_demoted from research: ic=1 ai=1.0]
- Anthropic
- Claude Fable 5-1
- Claude Opus 5.5
- Gemini 4 Argon
- GPT-6.1 Sol
- GPT-6 Astra
- Gurnee
- Max Tegmark
- OpenAI
- OpenStreetMap
- San Francisco
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →