神经演化

神经演化（Neuroevolution）是指利用进化算法优化人工神经网络的一系列方法的统称。其基本假设是：神经网络可以被视为一个由基因型到表现型的映射系统，其中基因型编码网络的拓扑结构、连接权重、激活函数、学习规则或超参数，表现型则是在特定任务上评估得到的适应度。与传统的梯度下降训练不同，神经演化不要求网络可微，也不依赖误差反向传播，因此能够处理非连续、非平稳、稀疏奖励或完全不可微的适应度函数。

一个典型的神经演化循环包含四个步骤：第一，初始化一个由多个神经网络个体组成的种群；第二，对每个个体在任务环境中进行评估，得到适应度分数；第三，根据适应度进行选择，保留优质个体作为父代；第四，通过变异和重组产生下一代种群。该过程反复迭代，直到达到性能阈值或计算预算耗尽。

神经演化的思想可以追溯到20世纪80年代末期。1989年，Montana与Davis首次系统性地将遗传算法用于神经网络权重训练。1992年，Belew与McInerney等人进一步探索了权重与结构的联合进化。真正奠定该领域方法论基础的是1994年由Xin Yao提出的进化神经网络框架，他将网络结构、权重和学习规则统一纳入进化搜索空间。

2002年，Kenneth Stanley提出了NEAT（NeuroEvolution of Augmenting Topologies）算法，通过历史标记、物种形成和适应度共享机制，成功解决了拓扑结构进化中的竞争约定问题，成为神经演化领域最具影响力的里程碑之一。2009年，Jason Gauci与Kenneth Stanley提出HyperNEAT，利用间接编码和几何正则性，将网络结构表示为可进化的空间模式，显著提升了大尺度网络的可扩展性。近年来，OpenAI与DeepMind等机构将进化策略与深度强化学习结合，推动了神经演化在复杂控制任务中的复兴。

神经演化的算法体系可大致分为三类。第一类是基于权重的进化方法，其网络拓扑固定，仅进化连接权重，代表性方法包括遗传算法训练多层感知机与进化策略。第二类是拓扑与权重联合进化方法，以NEAT及其变体为代表，能够从最小网络出发逐步增加节点和连接。第三类是间接编码方法，如HyperNEAT、CPPN-NEAT和ES-HyperNEAT，通过发育模型将基因型映射为表现型，从而利用对称性、重复性和模块化等结构正则性。

此外，CMA-ES（协方差矩阵自适应进化策略）在神经演化中广泛用于高维参数优化，其在高斯分布参数空间中自适应调整搜索协方差，适合处理非凸、病态或噪声较大的适应度地形。Novelty Search与Quality-Diversity算法则通过奖励行为新颖性而非单纯目标性能，缓解了 deceptive 适应度地形带来的早熟收敛问题。

遗传编码是神经演化的核心设计选择。直接编码将每个权重和连接显式存储于基因组中，实现简单但可扩展性差；间接编码通过发育规则、语法树或空间函数生成网络，能够压缩搜索空间并促进结构复用。历史标记机制为每个基因分配唯一标识，使得不同个体间的同源基因能够正确对齐，避免竞争约定问题。物种形成将种群划分为生态位，保护新出现的拓扑创新不被立即淘汰，从而维持搜索多样性。

适应度评估通常需要在仿真环境中多次运行个体，计算平均回报、成功率或行为多样性。为降低评估成本，研究者引入了代理模型、异步并行评估和早期停止策略。变异算子包括权重扰动、添加连接、添加节点、删除连接和激活函数替换等，其概率分布对搜索行为有显著影响。

神经演化在多个领域展现出独特价值。在强化学习中，神经演化被用于训练策略网络，尤其适用于奖励稀疏、信用分配困难或环境不可微的任务，如Atari游戏、MuJoCo连续控制和自动驾驶仿真。在机器人学中，神经演化用于生成步态控制器、抓取策略和群体行为规则。在游戏人工智能中，NEAT被成功应用于《吃豆人》、《超级马里奥》和《俄罗斯方块》等游戏的AI训练。

在神经架构搜索（NAS）领域，进化算法与权重共享、代理模型和早停策略结合，成为自动发现高性能网络结构的重要范式。在人工生命与计算神经科学中，神经演化被用于研究大脑结构的进化起源、模块化形成和可进化性。此外，神经演化还被用于生成艺术、电路设计和药物分子生成等跨学科任务。

近年来，神经演化与深度学习的边界日益模糊。一方面，进化策略被用于优化深度网络的超参数和初始化，或在强化学习中替代策略梯度；另一方面，进化算法被用于搜索轻量化网络结构，以满足边缘部署的算力约束。2020年前后，Google Brain与DeepMind提出的进化策略+梯度混合方法在Atari和ImageNet任务上取得了与纯梯度方法相当甚至更优的结果，表明两种范式具有互补性。

然而，神经演化仍面临计算成本高、样本效率低和高维搜索困难等挑战。未来发展方向包括：与元学习结合实现快速适应、利用大规模分布式计算加速评估、发展更高效的间接编码方案，以及将进化机制与神经可塑性、发育生物学和开放-ended进化理论深度融合。

神经演化不仅是工程优化工具，也为理解生物智能的进化起源提供了计算模型。它表明，复杂的认知能力可能并非完全依赖梯度学习，而可以通过选择、变异和保留在种群层面上逐步涌现。这一观点与生物进化中的鲍德温效应和基因-文化协同进化相呼应，引发了关于学习与进化关系的持续讨论。

争议主要集中在可扩展性与效率：批评者认为神经演化在高维参数空间中收敛缓慢，难以与反向传播竞争；支持者则指出，进化方法在非可微任务、稀疏奖励和结构搜索中具有不可替代的优势，且随着算力增长，其相对劣势正在缩小。

• Stanley, K. O., & Miikkulainen, R. (2002). Evolving neural networks through augmenting topologies. Evolutionary Computation, 10(2), 99-127.
• Yao, X. (1999). Evolving artificial neural networks. Proceedings of the IEEE, 87(9), 1423-1447.
• Gauci, J., & Stanley, K. O. (2010). Autonomous evolution of topographic regularities in artificial neural networks. Neural Computation, 22(7), 1860-1898.
• Salimans, T., Ho, J., Chen, X., Sidor, S., & Sutskever, I. (2017). Evolution strategies as a scalable alternative to reinforcement learning. arXiv:1703.03864.
• Real, E., Liang, C., So, D. R., & Le, Q. V. (2020). AutoML-Zero: Evolving machine learning algorithms from scratch. ICML 2020.
• Hansen, N., & Ostermeier, A. (2001). Completely derandomized self-adaptation in evolution strategies. Evolutionary Computation, 9(2), 159-195.
• Lehman, J., & Stanley, K. O. (2011). Abandoning objectives: Evolution through the search for novelty alone. Evolutionary Computation, 19(2), 189-223.
• Miconi, T. (2017). Biologically plausible learning in recurrent neural networks reproduces neural dynamics observed during cognitive tasks. eLife, 6, e20899.