SUDOC

免费 LLM 静默截断超过 2,000 个标记符的输入，丢失关键数据

一位开发者发现，一个免费语言模型在处理长文档（如租赁协议）时，会静默截断约 2,000 个标记符以上的输入。尽管模型看似提供了自信的答案，但实际上它忽略了文档的后半部分，导致分类不准确和义务被遗漏。由于模型没有返回错误，而是生成听起来合理但不完整的响应，因此这种行为很难被发现。通过分析 API 响应的使用统计数据（显示标记符计数远低于实际输入长度）以及通过演示截断现象的重现脚本，确认了该问题。