前馈神经网络

前馈神经网络（英文：Feedforward neural network， FNN）是人工神经网络中最基础、应用最广泛的一类架构。其核心特征是信息单向、无环地从输入层流经隐藏层，最终到达输出层。它通过模拟神经元间的层级化连接和非线性变换，能够学习从输入到输出的复杂映射函数，是深度学习的基石。

核心架构

1. 层级结构：

   • 输入层：接收原始数据（如图像像素、文本向量），神经元数目等于输入特征维度。

   • 隐藏层：位于输入与输出层之间，可有一层或多层（“深度”由此而来）。每层包含若干神经元，负责逐层提取和组合特征。

   • 输出层：产生最终预测或分类结果，神经元数目由任务决定（如二分类为1个，多分类为类别数，回归为1个）。

2. 全连接：相邻层间的每个神经元与下一层的所有神经元相连接（“全连接层”）。这是其基本形式，但也可有其他连接方式（如卷积层）。

3. 前馈性：信息严格从输入层向输出层单向传播，没有循环或反馈连接。这区别于循环神经网络。

工作原理：前向传播

对于给定输入，网络通过以下步骤计算输出：

1. 线性加权求和：对于层中每个神经元，计算其所有输入的加权和：

   $$z_j=\sum _i(w_{ji}\cdot a_i)+b_j$$

   其中 $w_{ji}$ 是从上一层神经元 $i$ 到本层神经元 $j$ 的连接权重， $a_i$ 是上一层神经元的激活值， $b_j$ 是偏置项。

2. 非线性激活：对加权和施加激活函数，引入非线性，使网络能够逼近任意复杂函数：

   $$a_j=f(z_j)$$

   • 常用激活函数：ReLU、Sigmoid、Tanh、Softmax（通常用于输出层）。

3. 逐层传递：将本层的激活值 $a_j$ 作为下一层的输入，重复步骤1-2，直至输出层。

学习过程：反向传播算法

FNN通过反向传播算法和梯度下降优化来学习，调整权重以最小化预测误差。

1. 损失函数：量化网络输出与真实值之间的差异（如均方误差用于回归，交叉熵用于分类）。

2. 反向传播误差：

   • 从输出层开始，计算损失函数对每个权重的梯度（即误差对权重的敏感度）。

   • 利用链式法则，将误差梯度逐层向后传播至输入层。

3. 权重更新：根据梯度方向，使用优化器（如SGD、Adam）调整权重，以减少损失：

   $$w_{ji}\leftarrow w_{ji}-\eta \cdot \frac{\mathrm{\partial }L}{\mathrm{\partial }{w}_{ji}}$$

   其中 $\eta$ 为学习率。

能力与限制

• 通用逼近定理：一个单隐藏层且包含足够多神经元的FNN，能以任意精度逼近任何连续函数。这奠定了其理论可行性。

• 优势：

  • 结构简单，易于理解和实现。

  • 擅长学习静态映射，在图像分类、语音识别、金融预测等任务上表现出色。

• 局限：

  • 无内部状态：由于缺乏反馈，无法直接处理序列数据（如时间序列、自然语言），这是RNN和Transformer的领域。

  • 参数爆炸：全连接导致参数随层数和宽度急剧增长，计算成本高，易过拟合。

  • 对输入顺序不敏感：处理序列时无法利用位置信息（除非额外编码）。

变体与进化

• 多层感知机（MLP）：最基本的FNN形式，即包含一个或多个全连接隐藏层。

• 卷积神经网络（CNN）：一种特殊的FNN，通过卷积层和池化层取代部分全连接层，极大地提升了处理图像等网格数据的效率，并具有平移不变性。

• 自动编码器：一种用于无监督学习的FNN，旨在将输入压缩为低维编码后再重建，用于降维和特征学习。

• 深度前馈网络：隐藏层数较多（通常>3）的FNN，是“深度学习”的典型代表，能学习层次化特征。

应用领域

• 计算机视觉：图像分类（CNN为主）、目标检测、人脸识别。

• 自然语言处理：词向量表示、情感分析（常与其他架构结合）。

• 语音识别：声学建模。

• 推荐系统：学习用户与物品的复杂交互。

• 游戏与机器人：学习控制策略（常与强化学习结合）。

历史意义

FNN是连接主义人工智能的奠基模型。尽管早期受限于算力和算法（如XOR问题暴露的单层感知机局限），但反向传播算法的普及、ReLU激活函数的引入以及大规模数据和算力的支持，使其在21世纪复兴并催生了深度学习革命。

参考文献

1. Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323(6088), 533–536. （奠定反向传播算法训练多层网络的基础论文）

2. Cybenko, G. (1989). Approximation by superpositions of a sigmoidal function. Mathematics of Control, Signals, and Systems, 2(4), 303–314. （证明通用逼近定理的关键工作之一）

3. LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature, 521(7553), 436–444. （综述深度学习，涵盖前馈网络的核心思想与进展）

4. Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. （深度学习权威教材，详细阐述前馈网络及其变体）

5. Hornik, K., Stinchcombe, M., & White, H. (1989). Multilayer feedforward networks are universal approximators. Neural Networks, 2(5), 359–366. （另一篇证明通用逼近定理的经典论文）

6. Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012). ImageNet classification with deep convolutional neural networks. Advances in Neural Information Processing Systems, 25, 1097–1105. （AlexNet论文，展示深度卷积前馈网络的突破性性能，开启深度学习热潮）