Rosenblatt

人工智能的演进：从感知器到Transformer

现代大型语言模型（LLM）的发展是数十年人工智能研究的结晶，建立在Rosenblatt于1958年提出的感知器等基础概念之上。早期进展包括20世纪80年代-90年代的循环神经网络（RNN）和1997年的长短期记忆（LSTM）网络，它们按顺序处理文本，但在长期记忆方面存在困难。2014年，注意力机制的引入带来了重大突破，使模型能够同时考虑所有输入词，为2017年“Attention Is All You Need”论文中提出的Trans…