extremal token

新型 Transformer 模型生成序列极端事件

研究人员开发了一种对金融市场崩溃或自然灾害级联等序列极端事件进行建模的新方法。该方法利用“极值 token”表示将多元观测编码为类别序列，保留了主要超额的身份和时间顺序，同时丢弃了幅度细节。然后使用仅解码器的 Transformer 来估计下一个 token 核，从而能够生成反映诱导联合预测定律的未来 token 序列。该模型通过在模拟过程上进行预训练来证明其有效性，并在真实金融数据中显示出零样本迁移和适应的潜力。