反向传播算法复兴
Rumelhart、Hinton 和 Williams 推广反向传播算法，神经网络研究重新兴起。
事件概述
1986年，David Rumelhart、Geoffrey Hinton 和 Ronald Williams 在《自然》杂志发表《Learning Representations by Back-propagating Errors》论文，系统阐述了反向传播算法在多层神经网络训练中的应用。虽然反向传播的基本数学原理早在1970年代就由 Seppo Linnainmaa 和 Paul Werbos 等人发现，但 Rumelhart 等人的工作将其带入主流视野。他们展示了反向传播能够训练具有隐藏层的神经网络，学习内部表示，解决异或（XOR）等单层感知机无法处理的问题。这篇论文与同期出版的《Parallel Distributed Processing》两卷著作一起，标志着连接主义研究的复兴，为深度学习的发展奠定了基础。
深度学习笔记
背景、原理、影响与要点，一次读懂这个事件
背景与脉络
反向传播的思想并非 1986 年才出现：Paul Werbos 在 1974 年的博士论文中已提出用链式法则对网络误差反向求导，1985 年 David Parker 与 Yann LeCun 也各自独立给出类似算法。真正让该方法家喻户晓的，是 1986 年 10 月 Rumelhart、Hinton 与 Williams 发表于《Nature》的论文《Learning representations by back-propagating errors》。该文用清晰现代的符号展示了如何用反向传播训练多层网络，使隐藏单元自动习得任务的内部表示，从而突破了感知机只能学单层特征的局限，点燃了 80 年代末的连接主义复兴。
核心要点
- 1反向传播本质是多元微积分链式法则的一种高效计算顺序。
- 2它沿网络反向逐层求损失对各权重的梯度，再用于梯度下降。
- 31986 年 Nature 论文让多层网络隐藏单元自动习得内部表示。
- 4该算法突破了感知机只能学习单层特征、无法学多层表示的瓶颈。
- 5它是此后几乎所有深度学习模型（CNN/RNN/Transformer）共用的训练基础。
原理与技术细节
反向传播回答的问题是：给定一个标量损失 L（如输出与目标的误差平方和），如何高效求出它对网络每个权重 w 的偏导 ∂L/∂w。方法是链式法则。前向传播时，每层计算其输出并缓存中间值；反向传播则从输出层开始，先用 ∂L/∂y 表示对输出的梯度，再按链式法则逐层往回乘：某一层的梯度等于「上一层传回的梯度」与「本层局部导数」之积。于是每条连接都拿到了更新方向。打个比方，它像把最终的差错沿原路退回，沿途在每个节点分摊责任，告诉每个权重该往哪调。由于计算量仅与一次前向传播成正比，反向传播能用一次前向加一次反向的代价，算出全部参数的梯度，使深层网络可被梯度下降训练。
影响与后续
1986 年的论文把反向传播从数学边角推上主流，直接点燃了 80 年代末的连接主义复兴，并为 2006 年后的深度学习浪潮奠定训练基础。它的局限在于依赖可导计算图、易陷入局部最优与梯度消失，训练深层网络长期受算力与数据掣肘。但时至今日，从 CNN、RNN 到 Transformer，几乎所有神经网络仍靠反向传播更新参数。
学习要点
- 反向传播 = 链式法则 + 反向误差传播，是自动求导的经典实例。
- 它能让隐藏层自动发现对任务有用的特征表示。
- 训练深度网络不仅需要算法，还需要数据与算力支撑。
- 一个清晰、可见的演示往往比原始优先权更能推动领域。
术语表
微积分中复合函数求导的法则，反向传播据此将输出误差逐层分解为各权重的梯度。
以大量简单神经元互联与学习连接权重来模拟智能的研究范式，深度学习即其当代形态。
位于输入与输出之间、其目标值不被直接指定的神经元，反向传播使其习得内部表示。