ridge ICL

新研究揭示表格上下文学习器中存在虚假路由缺陷

研究人员发现表格上下文学习模型存在一个关键缺陷，即它们可能会被数据中的虚假相关性“纠缠”住。这意味着模型可能会学会依赖不相关的信号，例如特定医院的设备伪影，而不是用于预测的真正因果因素。这种虚假路由在线性模型中是不可避免的，并且会随着上下文大小的增加而加剧，导致模型在部署到新环境中时性能显著下降。该研究提出了两种缓解策略：环境分层上下文构建和S-swap增强，它们能有效地重新路由模型以关注因果信号并提高其鲁棒性。