研究人员推出了一种名为IntentTwin的新方法,以解决离线网络行为预测基准中的一个关键缺陷。这种缺陷被称为候选支持混淆,当目标动作不在训练支持内而干扰项在训练支持内时出现,导致简单的支持成员资格错误地识别出正确的动作。IntentTwin通过支持可识别率(SIR)指标形式化了这个问题,并提出了一种无目标双路径系统,该系统结合了支持检索和开放词汇DOM/LM建议。在OPeRA和Mind2Web数据集上的评估表明,IntentTwin显著降低了SIR,并缩小了预言家性能与实际部署之间的差距。 AI
影响 解决了离线评估协议中的一个关键偏差,可能导致更可靠的网络交互AI模型。
排序理由 该项目是一篇学术论文,详细介绍了一种新的网络行为预测方法和评估。 [lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- DagsHub
- Gotit.pub
- Hugging Face
- Influence Flower
- IntentTwin
- Mind2Web
- OPeRA
- ScienceCast
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →