Token Healing

大型语言模型提示词常在标记中间被截断，影响模型条件化

最近的一项分析显示，绝大多数语言模型的提示词截断位置并未与标记边界对齐。这意味着当提示词被截断时，它通常发生在标记中间，导致模型从未在其训练数据中遇到过的标记序列。这种现象被称为“标记修复”，它涉及回退到最后一个有效边界并重新标记化，以确保生成的输出是以训练语料库中实际存在的序列为条件的。这种失败是无声的，因为模型仍然会产生流畅的输出，但它是以人工标记序列为条件的，可能会影响模型响应的准确性和可靠性。