计算机不像人类那样阅读单词，而是依赖分词。这个过程将文本分解成更小的单元，这可能导致误解或错误，例如误解像“草莓”这样的单词拼写。文章认为，这类语言处理问题根源在于分词，而非 LLM 的内在能力。 AI
影响 解释了人工智能模型处理语言的一个基本限制，影响用户期望和模型开发。
排序理由 该条目是一篇社交媒体帖子，以非学术、主观的方式讨论了一个技术概念（分词）。
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
🎉 Ah, yet another mind-blowing revelation: # computers don't actually read words like humans do. 🤯 Who would've guessed that "strawberry" isn't spelled with three Rs? Clearly, # tokenization is the real villain here, not your LLM's lack of eyesight. 🍓🔍 https:// bearisland.dev/pos…