PulseAugur
实时 05:42:22
English(EN) Forecasting With LLMs: Improved Generalization Through Feature Steering

通过特征引导改进大型语言模型的预测能力

研究人员开发了一种方法来提高大型语言模型(LLMs)在预测任务中的泛化能力。通过使用稀疏自编码器分析 LLM 的内部状态,他们识别出与时间感知和前瞻性推理相关的特征。通过干预这些特征,特别是放大时间感知能力,发现在不影响一般推理性能的情况下,显著减少了预测提示中的前瞻性偏差。这表明可以利用可解释的时间特征来引导 LLM 进行更基于历史且可靠的推理。 AI

影响 通过减少偏差提高了 LLM 在预测中的可靠性,可能改进金融和规划领域的应用。

排序理由 该集群包含一篇学术论文,详细介绍了提高 LLM 在预测任务中性能的新方法。

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

通过特征引导改进大型语言模型的预测能力

报道来源 [2]

  1. arXiv cs.CL TIER_1 English(EN) · Humzah Merchant, Bradford Levy ·

    Forecasting With LLMs: Improved Generalization Through Feature Steering

    arXiv:2606.27199v1 Announce Type: new Abstract: Successful forecasting involves identifying patterns between historical and future states of the world which generalize to future observations. We apply LLMs to a variety of forecasting tasks and inspect their internal states using …

  2. arXiv cs.LG TIER_1 English(EN) · Bradford Levy ·

    使用大型语言模型进行预测:通过特征引导提高泛化能力

    Successful forecasting involves identifying patterns between historical and future states of the world which generalize to future observations. We apply LLMs to a variety of forecasting tasks and inspect their internal states using sparse autoencoders to understand whether they a…