该集群探讨了大型语言模型（LLM）的语言学和计算基础。它深入研究了计算机如何处理文本，从基本的标记化和TF-IDF、马尔可夫链等统计方法，到用于创建单词数值表示的Word2Vec等更高级的技术。分析还涉及符号学，运用索绪尔、皮尔士和德里达的理论来解释为什么LLM虽然强大，却不等同于人类心智。此外，它还考察了语言的五个层级——语音学、形态学、句法学、语义学和语用学——以及LLM如何处理这些语言结构。 AI
影响 解释了LLM文本处理和语言理解背后的基础概念。
排序理由 该集群由讨论LLM理论和技术基础的博客文章组成，而非新发布的产品。
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →
Jak komputer czyta tekst - od liczenia słów do wektorów Od tokenizacji przez TF-IDF i łańcuchy Markowa, aż po Word2Vec. Jak komputer zamienia tekst w liczby... https:// gruszka.dev/jak-komputer-czyta -tekst.html # llm # ai # nlp # tokenizacja # word2vec # embeddings # tfidf # mar…
Semiotyka - dlaczego LLM nie Saussure, Peirce i Derrida jako klucz do zrozumienia LLM. Dlaczego model to nie umysł, ale maszyna z... https:// gruszka.dev/semiotyka-a-llm.ht ml # llm # ai # semiotyka # znaki # linguistics # languagemodels # saussure # peirce # derrida
Cechy językowe - co musisz wiedzieć, zanim zrozumiesz, jak myśli LLM Pięć warstw języka – fonetyka, morfologia, składnia, semantyka, pragmatyka – i jak LLM radzi sobie z... https:// gruszka.dev/cechy-jezykowe-a-l lm.html # llm # ai # jezykoznawstwo # nlp # linguistics # languagem…