一位开发者发现，一个免费语言模型在处理长文档（如租赁协议）时，会静默截断约 2,000 个标记符以上的输入。尽管模型看似提供了自信的答案，但实际上它忽略了文档的后半部分，导致分类不准确和义务被遗漏。由于模型没有返回错误，而是生成听起来合理但不完整的响应，因此这种行为很难被发现。通过分析 API 响应的使用统计数据（显示标记符计数远低于实际输入长度）以及通过演示截断现象的重现脚本，确认了该问题。 AI
影响 强调了开发者验证 LLM 输入处理和标记符限制的关键需求，因为静默截断可能导致重大的事实错误。
排序理由 该条目描述了在特定的免费 LLM 端点中发现的限制，而不是一般的发布或研究突破。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
