大语言模型文本处理详解：从词数统计到语言学和符号学 · 追踪8个来源

报道来源 [8]

1. Mastodon — mastodon.social TIER_1 English(EN) · blazejgruszka · 2026-07-24 06:41

   计算机如何阅读文本——从词语计数到向量表示：从分词、TF-IDF、马尔可夫链到Word2Vec。计算机如何将文本转化为数字。

   How a computer reads text - from counting words to vectors From tokenization through TF-IDF and Markov chains, to Word2Vec. How a computer turns text into numb... https:// gruszka.dev/en/how-computer-re ads-text.html # llm # ai # nlp # tokenization # word2vec # embeddings # tfidf…

   链接 gruszka.dev/…/how-computer-reads-text.html
2. Mastodon — mastodon.social TIER_1 English(EN) · blazejgruszka · 2026-07-24 06:41

   语言特征——在你理解LLM如何思考之前你需要知道的 五层语言——语音学、形态学、句法学、语义学、语用学

   Linguistic features - what you need to know before you understand how an LLM thinks Five layers of language - phonetics, morphology, syntax, semantics, pragmatics - and how an LLM hand... https:// gruszka.dev/en/linguistic-feat ures-and-llm.html # llm # ai # nlp # linguistics # l…

   链接 gruszka.dev/…/linguistic-features-and-llm…
3. Mastodon — mastodon.social TIER_1 English(EN) · blazejgruszka · 2026-07-24 06:41

   从简单神经元到记忆——语言模型的演变 从1958年的单个神经元，经历遗忘问题的MLP和RNN，到具有记忆的LSTM

   From simple neurons to memory - the evolution of language models From a single neuron in 1958, through MLP and RNN with the forgetting problem, to LSTM with memory g... https:// gruszka.dev/en/from-neurons-to -memory.html # llm # ai # neuralnetworks # rnn # lstm # perceptron # ml…

   链接 gruszka.dev/…/from-neurons-to-memory.html
4. Mastodon — mastodon.social TIER_1 English(EN) · blazejgruszka · 2026-07-24 06:40

   符号学 - 为什么大型语言模型不遵循索绪尔、皮尔士和德里达的理论是理解大型语言模型的关键。为什么模型不是心智，而是机器…… https:// gruszka.dev/en/s

   Semiotics - why an LLM doesn't Saussure, Peirce and Derrida as the key to understanding LLMs. Why a model is not a mind, but a mach... https:// gruszka.dev/en/semiotics-and-l lm.html # llm # ai # semiotics # signs # linguistics # languagemodels # saussure # peirce # derrida

   链接 gruszka.dev/…/semiotics-and-llm.html
5. Mastodon — mastodon.social TIER_1 Polski(PL) · blazejgruszka · 2026-07-24 06:40

   从简单神经元到记忆——语言模型的演变 从1958年的单个神经元，到具有遗忘问题的MLP和RNN，再到带门控的LSTM

   Od prostych neuronów do pamięci – ewolucja modeli językowych Od pojedynczego neuronu w 1958 roku, przez MLP i RNN z problemem zapominania, aż po LSTM z bramkami ... https:// gruszka.dev/od-prostych-neuron ow-do-pamieci.html # llm # ai # neuralnetworks # rnn # lstm # perceptron # …

   链接 gruszka.dev/od-prostych-neuronow-do-pamie…
6. Mastodon — mastodon.social TIER_1 Polski(PL) · blazejgruszka · 2026-07-24 06:40

   语言特征——了解LLM如何思考的必备知识：语言的五层——语音学、形态学、句法学、语义学、语用学——以及LLM如何处理它们

   Cechy językowe - co musisz wiedzieć, zanim zrozumiesz, jak myśli LLM Pięć warstw języka – fonetyka, morfologia, składnia, semantyka, pragmatyka – i jak LLM radzi sobie z... https:// gruszka.dev/cechy-jezykowe-a-l lm.html # llm # ai # jezykoznawstwo # nlp # linguistics # languagem…

   链接 gruszka.dev/cechy-jezykowe-a-llm.html
7. Mastodon — mastodon.social TIER_1 Polski(PL) · blazejgruszka · 2026-07-24 06:40

   符号学 - 为什么大型语言模型不是索绪尔、皮尔士和德里达，也无法成为理解大型语言模型的关键。为什么模型不是心智，而是机器…… https:// gruszka.dev/semiot

   Semiotyka - dlaczego LLM nie Saussure, Peirce i Derrida jako klucz do zrozumienia LLM. Dlaczego model to nie umysł, ale maszyna z... https:// gruszka.dev/semiotyka-a-llm.ht ml # llm # ai # semiotyka # znaki # linguistics # languagemodels # saussure # peirce # derrida

   链接 gruszka.dev/semiotyka-a-llm.html
8. Mastodon — mastodon.social TIER_1 Polski(PL) · blazejgruszka · 2026-07-24 06:40

   计算机如何阅读文本——从词频统计到向量表示 从分词到TF-IDF和马尔可夫链，再到Word2Vec。计算机如何将文本转化为数字...

   Jak komputer czyta tekst - od liczenia słów do wektorów Od tokenizacji przez TF-IDF i łańcuchy Markowa, aż po Word2Vec. Jak komputer zamienia tekst w liczby... https:// gruszka.dev/jak-komputer-czyta -tekst.html # llm # ai # nlp # tokenizacja # word2vec # embeddings # tfidf # mar…

   链接 gruszka.dev/jak-komputer-czyta-tekst.html