如果要评选出整个人工智能史上
最被低估、被嘲笑、又最终逆袭的算法
反向传播
一定值得一个第一。
Backpropagation。
简称 Backprop。
在2024年那10月的时候, 诺贝尔物理学奖被颁发给了名为辛顿的GeoffreyHinton呀。
颁奖委员会说，他的工作「为今天的机器学习革命奠定了基础」。
那一天，全世界 AI 圈刷屏了。
但是, 知晓辛顿最为关键的贡献当中的一个, 是一个于1986年发布的算法的人, 少之又少。
那个算法在发表之后，被主流学术界冷落了将近二十年。
很多人说，这条路走不通。
辛顿一个人撑着，撑过了整个冬天。
每天当下, 我们所使用的GPT, 以及Claude, 还有DeepSeek等等。
每一个神经网络，每一次模型训练，
背后都在运行这个算法。
这就是反向传播。
要理解反向传播，先要理解一件事：
神经网络是怎么「学习」的。
一个神经网络，里面有成千上万个参数。
你可以把每个参数想象成一个旋钮。
把旋钮拧到不一样的位置, 对于同一张图片, 以及同一段文字, 网络将会给出不一样的判断。
训练的目标，就是找到所有旋钮的最佳位置。
让网络看到猫的图片，就说「这是猫」。
看到狗的图片，就说「这是狗」。
那8组, 由多头注意力构成的权重矩阵（Wq、Wk、Wv）, 这是旋钮, 没错。
从 512 维向 2048 维提升向量, 再将其压回所用的, 每一层前馈网络的那些系数, 是旋钮。
Encoder 有 6 层, Decoder 也有 6 层, 而每一层, 都存在着独自的一组旋钮。
GPT - 3有着1750亿个参数, 这1750亿个参数所指的便是那1750亿个旋钮。
每一个，都需要被调到正确的位置。
那么问题来了，
一个稍微复杂点的网络，旋钮数量轻松达到几百万个。
怎么知道每个旋钮该往哪个方向拧，拧多少
靠猜，不可能。
靠穷举，更不现实。
这就是反向传播要解决的问题。
我们先回到 1943 年
那一年，神经科学家麦卡洛克和数学家皮茨，发表了一篇论文。
他们说：
人类大脑里的神经元，其实可以用数学来模拟。
有一个神经元, 它接收信号, 当接收到的信号超过了某个阈值, 这个神经元就会被激活, 激活之后它会把信号传递给下一个神经元。
这个想法震惊了所有人。
人们第一次觉得，「思维」这件事开云真人app,开云真人app地址，也许可以用机器来做。
到了 1950 年代，感知机出现了。
这是最早的「神经网络」——只有一层，只能做最简单的分类。
整个学界都在为此鼓掌。
有人放话，再过十年，机器就能模拟人类大脑了。
然后现实给了一巴掌。
1969年, 明斯基, 也就是Minsky, 和帕伯特, 也就是Papert, 出版了一本书, 通过数学方式进行证明, 单层感知机无法完成哪怕是「异或」这种极为简单的逻辑运算。
整个领域的热情，被狠狠地浇了一盆冷水。
这就是第一次 AI 寒冬的开始。
辛顿却是在寒冬里入行的。
1970 年代，他在剑桥读心理学，然后转向 AI。
那个时代，几乎没有人愿意研究神经网络。
在主流的学术界, 有一种被称为「符号 AI」的研究方向, 它借助规则, 凭借逻辑, 依靠人类所撰写的知识库来开展智能相关的工作。
神经网络被认为是死路。
辛顿不信。
他存在着一种直觉, 大脑并非依据规则来进行运转, 它是依靠连接, 依靠权重, 依靠经验从而学习得出的。
他想找到一种方法，让多层的神经网络也能学习。
问题卡在一件事上：
怎能够去告知, 网里头每一层、每一个位于其中的神经元, 它于这一回产生的错误当中, 究竟需要承担多少的责任呢?
这个问题，难在哪里
难在神经网络是分层的。
输入进来，一层一层往前传，最后输出一个结果。
结果出来了，对比标准答案，能知道「整体错了多少」。
但具体是哪一层的哪个旋钮拧错了
没有直接的答案。
比如说, 有这么一家公司, 在今年出现了亏损的情况, 你清楚总共亏损了资金的具体数目, 然而呢, 你却并不晓得究竟是销售这个部门所引发的问题, 还是产品这个部门所产生的问题, 又或者还是财务这个部门所生出的问题。
责任要怎么分
接下来的内容有点干，我们先喝口水...
1986年, 辛顿与两位合作者, 一位是鲁梅尔哈特（Rumelhart）, 另一位是威廉姆斯（Williams）, 他们发表了这篇论文。
题目很朴素：
通过反向传播误差来学习表示, 通过这种途经达到学习表示的目的, 借助反向传播误差实现学习表示。
通过反向传播误差来学习表示。
核心思想就藏在这个题目里。
既然误差是从最后一层产生的，那就把误差从最后一层开云app官方最新下载地址，往回传。
一层一层往回算，每一层都分到自己应该承担的那一份责任。
然后每个旋钮，根据自己分到的责任，微微调整一下方向。
这个过程，重复几万次，几十万次，几百万次。
网络就慢慢学会了。
我们用一个具体的例子走一遍。
假设网络的任务，是判断一张图片里是不是猫。
网络看了一张猫的图片，输出了 0.2。
意思是「我认为这张图片是猫的概率是 20%」。
但正确答案是 1，这就是猫，100% 确定。
误差是 0.8。
方向错了，而且错得很多。
第一步，正向传播。
从输入层进入的图片, 历经层层神经元, 最终抵达输出层, 进而得到0.2这个结果。
这是正向的过程，信息从前往后流。
第二步，计算误差。
拿 0.2 和 1 做对比，误差是 0.8。
这个误差，就是接下来要往回传的信号。
第三步，反向传播。
误差从输出层开始，往回走。
来到最末一层, 每一个神经元都获得一份: “于此次错误当中, 你所做出的贡献究竟有多少”。
这个分配，靠的是微积分里的「链式法则」。
不用害怕这四个字，我们继续用旋钮来理解：
具体的某个旋钮, 当它朝着右边的方向拧过去一点的情况下, 输出便会朝着数字1的方向靠近, 这表明它拧的程度还不够, 下一次需要朝着右边再拧过去一点, 是这样的情况。
有这样一个旋钮, 当它被朝着右边转动些许了之后, 输出的结果却愈发向着远离1的方向而去, 这表明转动的方向出现了错误, 那么下一次转动时就应该朝着左边去拧。
每个旋钮，都得到了自己的「调整方向」和「调整幅度」。
这个调整的过程，有一个专门的名字，就是 梯度下降。
Gradient Descent。
「梯度」是方向，「下降」是让误差变小。
可以这么想象
你在一片有山有谷的地形上，蒙着眼睛，想走到最低的谷底。
没法看到全局地图，只能感受脚下的坡度。
哪边低，就往哪边走一小步。
走一步，再感受，再走一小步。
一步一步，慢慢走向谷底。
谷底，就是误差最小的地方。
就是网络「学对了」的地方。
反向传播，就是告诉网络每一步该往哪个方向走的那只手。
到这里，我们可能会问：
这个思路听起来不难啊，为什么当时没人想到
其实想到的人不少。
反向传播的数学原理，早在 1960 年代就有人研究过了。
但当时没人觉得有用。
由于不存在足够快的计算机, 不存在足够多的数据, 从理论层面来讲是可行的, 然而在实践方面却运行不了。
更重要的是，主流学界不信这条路。
1986 年论文发表之后，辛顿等了很久，没有等来掌声。
1990 年代，支持向量机（SVM）出现了。
那是一种更为「数学」化的机器学习方式, 其理论显现出优雅的特质, 具备可解释性, 并且在当时所呈现出的效果也是较为良好的。
整个学界转向了 SVM。
神经网络，再一次被冷落。
有人直接嘲讽辛顿，说他在浪费时间。
有人说，神经网络永远不可能超过 SVM。
辛顿在加拿大的办公室里，继续他的研究。
一个人带着几个学生。
没有大公司的资助，没有顶级期刊的热情。
就这样, 撑过了整个的1990年代, 又撑过了2000年代的大半部分。
转折点在 2012 年。
就在那一年, 嘿, 辛顿带领着两名跟随他学习的人, 其中一个是克里日夫斯基, 也就是 Alex Krizhevsky , 另一个是伊利亚, 此人为 Ilya Sutskever 。
参加了一个叫 ImageNet 的图像识别竞赛。
他们用的模型叫 AlexNet。
结果出来，所有人都愣住了。
第二名的错误率, 比 AlexNet 高了将近 11 个百分点。
这不是小赢。
这是碾压。
整个计算机视觉领域在那一晚上改变了方向。
AlexNet 的核心，就是深层神经网络加反向传播。
就是辛顿坚持了二十六年的那条路。
这两个学生里，有一个人你一定听说过。
就是伊利亚·苏茨克维尔
他从俄罗斯移民到以色列，又从以色列移民到加拿大。
十六岁之际, 他转学至多伦多, 于高中仅仅读了一个月, 缘由是成绩太过优异从而被大学提前录取了。
进了多伦多大学之后，他听说有一位教授在研究神经网络。
所有人都说那是一条死路。
但是伊利亚有着好奇的时候, 他径直地把那位教授办公室的门给敲开了, 询问可不可以加入实验室。
那位教授，就是辛顿。
两个人就这样走到了一起。
AlexNet出现之后, 他们三个人组建了一家公司, 这家公司的名字是DNNresearch。
公司只有三个人，没有产品，没有收入，没有任何业务。
辛顿去问律师，这家公司怎样才能卖出最高价
他们决定不卖给任何一家，而是拍卖。
Google、微软、DeepMind，几家公司同时竞标。
最终, Google成功将这家由三人构成的公司, 以4400万美元的价格收入囊中。
伊利亚去了 Google Brain。
2015年接近年末的时候, 有一个名为奥特曼（Sam Altman）的人, 萌生出创立一家公司的想法, 而这家公司便是OpenAI。
他开出了条件，想把伊利亚从 Google 挖过来。
伊利亚迟疑了好长一段时间, 原因在于, 那时的Google是全球范围内最为出色的AI研究平台, 其给予的待遇十分优厚, 所拥有的资源堪称无限。
后来马斯克在采访里说：
伊利亚经历了多次来回反复, 先是表示要加入, 而后又被DeepMind的人劝服留下, 如此这般来回折腾了好几次, 最终他下定决心加入OpenAI。
「伊利亚的加入，是 OpenAI 最终成功的关键。」
加入之后，伊利亚成为 OpenAI 的首席科学家。
他做的第一件事，是提出了一个当时所有人都觉得太激进的信念：
把模型做大，能力就会涌现出来。
不存在人去教GPT - 3进行推理, 然而, 当参数达到1750亿的时候, 它自行就会了。
没有人教它写代码，但它学会了。
这里我们做一个小小的预告，涌现会出现在之后的文章中。
有着GPT - 1, 有着GPT - 2, 又有着GPT - 3, 再有GPT - 4, 一步一步往前推进, 一步一步叫人瞠目结舌。
2022 年 11 月，GPT 上线。
72 小时，100 万用户。
两个月，1 亿用户。
人类历史上增长最快的消费级产品。
伊利亚, 是个孩子, 16岁, 在多伦多高中只读了一个月, 就进了大学, 然后敲开了辛顿办公室的门, 他是GPT最核心的架构师之一。
辛顿，就是他的老师。
而反向传播，是这一切的根基。
现在我们知道了，到底什么是反向传播。
它不只是一个算法。
它是让所有神经网络能「学习」的根本机制。
缺少了反向传播, 哪怕神经元数量再多, 那也仅仅是一堆毫无生机的死数字, 既不会实现进化, 也不会进行迭代。
有了反向传播，每一次犯错，都变成了下一次进步的基础。
GPT 训练了多少次反向传播
没有公开数字。
然而, 值得予以参考的是, GPT - 3在进行训练期间, 处理了大概3000亿个token。
每处理一批数据，就做一次反向传播。
每次进行反向传播时, 存在着 1750 亿个参数, 其中的每一个参数, 都被微微地调整了一番。
我们每次跟 AI 的对话，背后都是无数次这样的调整。
一个小彩蛋。
这个被称作反向传播的想法, 其最早出现的地方, 乃是在1970年一份由芬兰数学家林纳因马（Seppo Linnainmaa）所撰写的硕士论文之中。
不是辛顿。
然而, 那一篇论文进行撰写的内容是数值分析, 跟神经网络之间不存在什么关联, 并且也没有什么人去引用它。
之后, 又存在着几个人, 他们各自独立地发觉了相似的方法, 并且这些时间全都比1986年要早。
故而严格来讲, 反向传播并非是被“发明”出来的, 它是被“发现”的, 还有, 它被好几个人各自独立发现了好多回。
有真正的贡献, 是辛顿察觉到其于神经网络所具备的价值, 并且耗费了二十年的时间, 使得全世界也都察觉到了这件事情。
2024 年 10 月 8 日，凌晨两点。
辛顿在加州的一家酒店里睡觉。
手机屏幕亮了，是一个他不认识的国际号码。
接通对方是瑞典口音。
「您是辛顿吗？」
「您获得了 2024 年诺贝尔物理学奖。」
辛顿后来说，他的第一反应是：
「等等，我不是做物理的。这有可能是个骗局。」
他在那通电话里说了四个字：
「I'm flabbergasted.」
我目瞪口呆。
一个在 90 年代被人说在「浪费时间」的研究者。
一个带着学生在多伦多的办公室里撑过整个寒冬的老头。
一个从剑桥读心理学、转行 AI、几十年默默无闻的固执的人。
接到了诺贝尔委员会的电话，第一反应不是喜悦开云app在线入口,开云真人官方下载，而是：
这是真的吗？
颁奖典礼上，有人问他对年轻研究者有什么建议。
他想了想，说：
要是你存有一个念头, 这个念头跟所有人的想法都不一样, 然而你却认定它是正确的。
不要放弃，直到你自己弄清楚它到底哪里错了。
大多数时候，你是错的。但极少数时候，你是对的。
你永远不会知道哪种情况，除非你一直坚持下去。」
我很擅长忽略别人说的话
反向传播，用了二十年，才等到被相信。
辛顿，用了四十年，才等到被承认。
然而, 训练模型时出现的错误, 一次又一次地往回传递, 在此期间, 那些旋钮, 一点一点地被调整, 这样的过程, 从来都未曾停止过。
这就是反向传播，辛顿的故事。
从之前的那一篇transformer开始, 一直到反向传播完毕, 想必你对于AI而言, 又一次拥有了些许新的认知。
希望这篇文章能对你有一点点帮助
还木有评论哦，快来抢沙发吧~