深度神经网络

深度神经网络（Deep Neural Networks, DNNs）详解

1. 基本概念

深度神经网络是一种模仿生物神经系统结构和功能的机器学习模型，通过多层级非线性变换从数据中学习复杂模式。其核心特点包括：

• 深度结构：包含多个隐藏层（通常≥3层），每层由多个神经元（节点）组成。

• 非线性激活：使用ReLU、Sigmoid等函数引入非线性，增强模型表达能力。

• 端到端学习：自动提取特征，无需人工设计特征工程。

2. 核心组件

（1）神经元（Neuron）

• 输入：接收前一层输出或原始数据（如像素值）。

• 加权求和：$z=w_1{x}_1+w_2{x}_2+\mathrm{.}\mathrm{.}\mathrm{.}+w_n{x}_n+b$

• 激活函数：$a=f(z)$，常见函数包括：

  • ReLU：$f(z)=\max (0,z)$（解决梯度消失，计算高效）。

  • Sigmoid：$f(z)=\frac{1}{1+e^{-z}}$（输出0-1，适用于概率）。

  • Softmax：多分类归一化输出概率。

（2）网络结构

• 前馈网络（Feedforward）：信息单向流动（输入→隐藏层→输出）。

• 反馈连接：如循环神经网络（RNN）中的时间循环，处理序列数据。

• 跳跃连接（Skip Connection）：ResNet等模型通过跨层连接缓解梯度消失。

（3）损失函数（Loss Function）

• 均方误差（MSE）：回归任务，如房价预测。

• 交叉熵（Cross-Entropy）：分类任务，如图像识别。

• 自定义损失：根据任务设计（如目标检测中的IoU Loss）。

3. 经典架构

（1）卷积神经网络（CNN）

• 核心组件：

  • 卷积层：局部感受野提取空间特征（如边缘、纹理）。

  • 池化层：降维增强平移不变性（如最大池化保留显著特征）。

• 应用：图像分类（ResNet）、目标检测（YOLO）、医学影像分析。

（2）循环神经网络（RNN）

• 时序建模：通过隐藏状态传递时间依赖信息。

• 变体：

  • LSTM：门控机制解决长程依赖问题。

  • GRU：简化版LSTM，参数更少。

• 应用：机器翻译、语音识别、股票预测。

（3）Transformer

• 自注意力机制：并行计算全局依赖关系，替代RNN的时序处理。

• 核心模块：

  • 多头注意力（Multi-Head Attention）：多角度捕捉上下文关联。

  • 位置编码：注入序列位置信息。

• 应用：BERT（自然语言理解）、GPT（文本生成）、ViT（图像分类）。

（4）生成对抗网络（GAN）

• 对抗训练：生成器（G）与判别器（D）博弈优化。

• 损失函数：${\min }_G{\max }_{D}V(D,G)=E_{x\sim p_{data}}[\log D(x)]+E_{z\sim p_z}[\log (1-D(G(z))]$

• 应用：图像生成（StyleGAN）、图像修复、数据增强。

4. 训练与优化

（1）反向传播（Backpropagation）

• 链式法则：从输出层反向计算梯度，更新权重（$w\leftarrow w-\eta \frac{\mathrm{\partial }L}{\mathrm{\partial }w}$）。

• 梯度问题：

  • 梯度消失：深层网络梯度趋零（LSTM、ResNet缓解）。

  • 梯度爆炸：梯度值过大（梯度裁剪解决）。

（2）优化器

• SGD：随机梯度下降，基础但易震荡。

• Adam：自适应学习率，结合动量与RMSProp，广泛使用。

• Adagrad：稀疏数据优化（如自然语言任务）。

（3）正则化

• Dropout：随机失活神经元，防止过拟合。

• 权重衰减（L2正则化）：约束权重幅值。

• 数据增强：旋转、裁剪图像，提升泛化性。

5. 应用场景

• 计算机视觉：

  • 人脸识别（FaceNet）、自动驾驶（车道检测）、医学影像（肿瘤分割）。

• 自然语言处理：

  • 情感分析、聊天机器人（ChatGPT）、文档摘要。

• 强化学习：

  • AlphaGo（策略网络）、机器人控制（DQN）。

• 生成式AI：

  • 文本生成（GPT-4）、图像生成（Stable Diffusion）、音乐合成。

6. 挑战与前沿

（1）数据依赖

• 小样本学习：元学习（MAML）、数据合成（GAN生成）。