顶[0] 分享评论[0] 编辑

前馈神经网络

核心架构编辑本段

层级结构：输入层接收原始数据，神经元数等于特征维度；隐藏层可多层，逐层提取特征；输出层产生最终结果，神经元数由任务决定。全连接：相邻层神经元全连接。前馈性：信息单向传播，无循环或反馈。

对于给定输入，网络通过以下步骤计算输出：线性加权求和、非线性激活（常用ReLU、Sigmoid、Tanh、Softmax）、逐层传递至输出层。

FNN通过反向传播和梯度下降优化学习。损失函数量化误差，链式法则计算梯度，优化器（如SGD、Adam）更新权重。

通用逼近定理：单隐藏层且足够多神经元的FNN可逼近任意连续函数。优势：结构简单，擅长静态映射。局限：无内部状态，无法直接处理序列数据；参数爆炸；对输入顺序不敏感。

FNN是连接主义AI的奠基模型。反向传播算法、ReLU激活函数、大规模数据和算力支持使其在21世纪复兴，催生深度学习革命。

Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323(6088), 533–536.
Cybenko, G. (1989). Approximation by superpositions of a sigmoidal function. Mathematics of Control, Signals, and Systems, 2(4), 303–314.
LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature, 521(7553), 436–444.
Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press.
Hornik, K., Stinchcombe, M., & White, H. (1989). Multilayer feedforward networks are universal approximators. Neural Networks, 2(5), 359–366.
Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012). ImageNet classification with deep convolutional neural networks. Advances in Neural Information Processing Systems, 25, 1097–1105.
Glorot, X., & Bengio, Y. (2010). Understanding the difficulty of training deep feedforward neural networks. Proceedings of the 13th International Conference on Artificial Intelligence and Statistics, 249–256.
Nair, V., & Hinton, G. E. (2010). Rectified linear units improve restricted Boltzmann machines. Proceedings of the 27th International Conference on Machine Learning, 807–814.
周志华. (2016). 《机器学习》. 清华大学出版社.
李航. (2019). 《统计学习方法》（第2版）. 清华大学出版社.

词条内容仅供参考，如果您需要解决具体问题
（尤其在法律、医学等领域），建议您咨询相关领域专业人士。

如果您认为本词条还有待完善，请编辑