RNN

自然语言处理模型的核心任务是“下一个词预测”，其技术演进围绕这一本质展开。早期N-gram模型依赖统计概率，存在组合爆炸与缺乏语义泛化的致命缺陷。词向量的发明将词语映射为高维空间坐标，使模型能通过余弦相似度计算语义距离，实现举一反三。前馈神经网络虽能自动学习语言规律，但受限于固定上下文窗口。循环神经网络引入隐藏状态作为动态摘要，打破了长度限制，却面临长期依赖问题。长短期记忆网络通过遗忘门、输入门、输出门三大门控机制自主管理长期记忆，但仍需按顺序计算，难以并行训练。这些探索最终为Transformer架构通过注意力机制解决上述痛点奠定了基础。