PulseAugur
实时 09:17:24
English(EN) ShiJianBench: From Dialogue to Decision for Long-Horizon Evaluation of Investment Advisors

新框架ShiJianBench评估LLM投资顾问的长期影响

研究人员推出ShiJianBench,一个旨在评估对话式投资顾问的新型离线框架。该框架侧重于顾问对话对投资者决策的长期影响,超越了对响应质量或即时结果的传统评估。ShiJianBench使用了一个多智能体投资者模拟器,该模拟器模拟了不断变化的状态、动机、记忆和基于对话的更新,并根据数千名真实用户的数据进行了校准。在2021年至2026年中国市场数据上进行的实验表明,某些大型语言模型(LLM)顾问在较长时期内表现出更优越的个性化内容和具有竞争力的投资者成果,凸显了轨迹感知评估的重要性。 AI

影响 该框架可能导致对金融咨询领域AI代理进行更稳健的评估,提高其有效性和安全性。

排序理由 该集群包含一篇学术论文,详细介绍了LLM驱动的对话式代理的新评估框架。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新框架ShiJianBench评估LLM投资顾问的长期影响

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Jie Gong, Maowei Jiang, Zhiwei Liu, Yang Qiao, Wenxi Wu, Mengxi Xiao, Enze Zhang, Ziyan Kuang, Yankai Chen, Caishuang Huang, Meng Zhou, Xiku Du, Xue Liu, Guojun Xiong, Min Peng, Qianqian Xie, Sophia Ananiadou ·

    ShiJianBench: From Dialogue to Decision for Long-Horizon Evaluation of Investment Advisors

    arXiv:2608.01204v1 Announce Type: new Abstract: Conversational investment advisors influence not only what users know, but also how they make subsequent decisions as market conditions evolve. Existing evaluations primarily assess response quality or observed outcomes, leaving the…