phonetics

LLM：从文本处理到符号学和语言层级

该集群探讨了大型语言模型（LLM）的语言学和计算基础。它深入研究了计算机如何处理文本，从基本的标记化和TF-IDF、马尔可夫链等统计方法，到用于创建单词数值表示的Word2Vec等更高级的技术。分析还涉及符号学，运用索绪尔、皮尔士和德里达的理论来解释为什么LLM虽然强大，却不等同于人类心智。此外，它还考察了语言的五个层级——语音学、形态学、句法学、语义学和语用学——以及LLM如何处理这些语言结构。