StreamReason-Bench

新基准显示大型语言模型难以处理事件时间流处理

一个名为StreamReason-Bench的新基准已被开发出来，用于评估大型语言模型（LLMs）理解和推理事件时间流处理语义的能力。该基准使用Dataflow模型语义的参考实现进行精确评分，测试LLMs在识别窗口何时触发以及哪些事件被延迟丢弃等任务上的表现。结果表明，当前LLMs在事件时间推理方面表现不佳，即使是GPT-4o等先进模型也面临困难，这凸显了处理延迟数据和会话边界的挑战。