既然上一期咱们把门路摸清了这一期咱们就掰开了、揉碎了把矩阵乘法这个“偷懒神器”给彻底吃透。我知道很多同学一看到“矩阵”两个字就头皮发麻脑子里全是当年在学校里背的“行乘列、加起来”那种枯燥的记忆。别怕今天我们不背公式我们只玩数字表格。而且我保证这一期结束之后你再看到那一堆数字眼里看到的不是数字而是神经网络里正在“哗哗”流动的信号流。那种感觉绝对成就感爆棚一、 先聊聊“为什么要自找麻烦”——人类的“算力”太脆弱我们先来做个思想实验。假设你现在手头有一个5层、每层100个节点的神经网络。如果不用矩阵你要怎么算从第一层到第二层的信号你需要把第一层100个节点的信号分别乘上对应的权重然后送到第二层的100个节点里。这就意味着你要做 100×100 10000 次乘法再加上 10000 次加法。这只是一层后面还有4层等着你呢。你拿着笔在纸上算算到第50个节点的时候脑子已经开始“冒烟”了算到第80个节点的时候你已经分不清刚才乘的是0.3还是0.03了。更恐怖的是人类天生不擅长做这种大量重复且枯燥的运算算错一个数字后面全盘皆输。这时候矩阵的作用就凸显出来了。它就像一个“超级压缩包”。原本要写满好几页纸的计算公式用矩阵来表达就简简单单几个字母X W · I。图1不仅如此计算机特别喜欢矩阵。像 Python 这种编程语言底层就是用 C 语言优化过的它知道矩阵乘法里全是重复的乘加运算所以会用最快的方式比如向量化指令帮你算完。你只要写一行代码电脑“唰”一下就给你算出来了。所以矩阵不是来折磨你的是来帮你“打工”的。二、 揭开面纱——矩阵不就是个“Excel表格”吗别把矩阵想得太玄乎。说穿了矩阵就是一个长方形的数字表格。你用过 Excel 吧里面那一格一格的就是矩阵。比如下面这个图2记住一个约定俗成的规矩前面一个数字代表“行”后面一个数字代表“列”。所以上图叫做2×3 矩阵读作“2乘3”意思是2行3列。你千万别说成“3乘2”那就闹笑话了。图3三、 重头戏矩阵乘法到底怎么算拿出草稿纸跟着我画好现在到了最让人头疼、也是最重要的部分——乘法。铁律第一条矩阵乘法不是对应位置相乘如果你把 [[1,2], [3,4]] 和 [[5,6], [7,8]] 对应位置相乘1×5, 2×6...那你从一开始就错了。矩阵乘法有自己的“游戏规则”。1. 手把手算左上角那个数19请你看着下面这两个矩阵图4我们要算结果矩阵我们叫它 C的左上角也就是第1行第1列的数字。规则来了我们要用A 的第一行和B 的第一列。拿出 A 的第一行1 和 2拿出 B 的第一列5 和 7现在把它们对应相乘再相加第一个乘第一个1 × 5 5第二个乘第二个2 × 7 14最后加起来5 14 19看19 就是这么来的图52. 再算右下角那个数50接着算结果矩阵 C 的右下角第2行第2列。拿出 A 的第二行3 和 4拿出 B 的第二列6 和 8对应相乘再相加3 × 6 184 × 8 3218 32 50图6剩下的两个数右上角 22左下角 43大家可以自己按照这个方法推一遍右上角A的第一行 × B的第二列 (1×6)(2×8)22左下角A的第二行 × B的第一列 (3×5)(4×7)43最后结果 C 就是图73. 用“人话”总结规律如果上面的数字让你眼花那我们换个说法。想象你有一个手电筒代表 A 的行和一个扫把代表 B 的列。结果矩阵里第i行第j列的那个数就是你拿着手电筒横着照 A 的第 i 行拿着扫把竖着扫 B 的第 j 列然后把扫到的一对一对数字相乘最后全部加起来。这个操作在数学上有个专门的名字叫点乘Dot Product或内积。4. 致命限制不是你想乘就能乘这里有个坑很多新手都会栽跟头。相乘的两个矩阵必须“门当户对”具体来说第一个矩阵的列数必须等于第二个矩阵的行数。比如一个 2×3 的矩阵能和 3×4 的矩阵相乘因为中间的 3 和 3 对上了。但是一个 2×3 的矩阵绝对不能和一个 5×5 的矩阵相乘因为 3 和 5 不相等乘不了。为什么必须这样因为行里的元素个数和列里的元素个数要能一一配对相乘如果不相等比如一个行有3个数另一个列只有2个数那最后一个数找谁乘去只能“落单”了。四、 见证奇迹的时刻——把字母换成神经网络的“零件”前面都是纯数学现在我们把神经网络里东西代进去。我们把刚才公式里的字母换个名字第一个矩阵原来是 A我们叫它W代表权重矩阵。第二个矩阵原来是 B我们叫它I代表输入矩阵。那么X W · I代表什么代表输入信号I穿过了这层权重W之后变成了新的组合信号X图9现在你看输出1收到的组合信号 (输入1 × w₁₁) (输入2 × w₂₁)输出2收到的组合信号 (输入1 × w₁₂) (输入2 × w₂₂)你看这不就是矩阵乘法的规则吗输出1对应结果矩阵的第一行第一列输入1×w₁₁ 输入2×w₂₁正是拿着权重矩阵的第一行去点乘输入矩阵。再仔细看我们把神经元之间复杂的连接变成了一次简单的矩阵乘法。学累了休息一下放松一下眼睛五、 实战演习带你手撕一个 3层 3节点 的神经网络光看两层不过瘾咱们来个真家伙——3层网络每层3个节点。跟着我一步一步走走完这一遍你对神经网络的前向传播就彻底毕业了。第1步准备好输入信号Input Layer假设输入层接到了三个数字0.9、0.1、0.8。把它们写成矩阵3行1列也叫列向量第2步翻出第一组权重输入层 → 隐藏层这个网络里输入层的3个节点到隐藏层的3个节点总共有 3×3 9 条连接线。我们把这 9 个权重随机编一些数字填进一个 3×3 的矩阵图11第3步第一次矩阵乘法算出“组合输入”X_hidden现在我们来算X_hidden W_input_hidden × I。跟着我算隐藏层第1个节点收到的信号结果的第一行用权重矩阵的第1行0.9, 0.3, 0.4去点乘输入矩阵0.9, 0.1, 0.8(0.9 × 0.9) (0.3 × 0.1) (0.4 × 0.8) 0.81 0.03 0.321.16算隐藏层第2个节点收到的信号结果的第二行用权重矩阵的第2行0.2, 0.8, 0.2去点乘输入矩阵0.9, 0.1, 0.8(0.2 × 0.9) (0.8 × 0.1) (0.2 × 0.8) 0.18 0.08 0.160.42算隐藏层第3个节点收到的信号结果的第三行用权重矩阵的第3行0.1, 0.5, 0.6去点乘输入矩阵0.9, 0.1, 0.8(0.1 × 0.9) (0.5 × 0.1) (0.6 × 0.8) 0.09 0.05 0.480.62图12我们只用了短短几步就把三个隐藏节点收到的信号全算出来了。如果没有矩阵你得写 3 个长长的算式现在我们只需要一张表格。第4步让信号“活”起来——应用 S 激活函数现在的 1.16、0.42、0.62 还只是冰冷的线性叠加我们要让神经元像生物一样有个“阈值开关”这就是S函数Sigmoid。S函数的公式是y 1 / (1 e^(-x))。别被这个公式吓跑你只要记住它的功能无论输入的数字是正无穷还是负无穷输出都会被压缩在 0 到 1 之间。我们拿第一个数1.16算一下先算 e^(-1.16)。e 约等于 2.71828计算器按一下e^(-1.16) ≈ 0.3135。带入公式1 / (1 0.3135) 1 / 1.3135 ≈0.761。同理0.42 过 S 函数 ≈0.6030.62 过 S 函数 ≈0.650图13把这 3 个数写成矩阵O_hidden隐藏层的输出图14第5步继续“前传”——第二组权重隐藏层 → 输出层现在我们要把隐藏层的输出当做下一层输出层的输入。同理我们需要第二组权重矩阵W_hidden_output3×3 的表格里面填满新的随机权重图15重点来了这一层的计算方法和上一层的计算方法一模一样我们用X_output W_hidden_output × O_hidden。也就是图16咱们一行一行来算计算输出层第1个节点结果矩阵第一行拿出权重矩阵的第一行0.3, 0.6, 0.1和隐藏层输出0.761, 0.603, 0.650对应相乘再相加0.3 × 0.761 0.22830.6 × 0.603 0.36180.1 × 0.650 0.0650加起来0.2283 0.3618 0.0650 0.6551计算输出层第2个节点结果矩阵第二行拿出权重矩阵的第二行0.5, 0.2, 0.8去点乘0.5 × 0.761 0.38050.2 × 0.603 0.12060.8 × 0.650 0.5200加起来0.3805 0.1206 0.5200 1.0211计算输出层第3个节点结果矩阵第三行拿出权重矩阵的第三行0.7, 0.4, 0.3去点乘0.7 × 0.761 0.53270.4 × 0.603 0.24120.3 × 0.650 0.1950加起来0.5327 0.2412 0.1950 0.9689图17第6步最后一次应用 S 激活函数到了最后一层我们再次把 X_output 里的每一个数分别丢进 S 函数里公式y 1 / (1 e^(-x))算第一个最终输出x 0.6551e^(-0.6551) ≈ 0.5193y 1 / (1 0.5193) 1 / 1.5193 ≈0.658算第二个最终输出x 1.0211e^(-1.0211) ≈ 0.3603y 1 / (1 0.3603) 1 / 1.3603 ≈0.735算第三个最终输出x 0.9689e^(-0.9689) ≈ 0.3795y 1 / (1 0.3795) 1 / 1.3795 ≈0.725图18恭喜你你完完整整地走完了一个三层神经网络的“前向传播”Forward Propagation你看不管网络有多深我们永远都在重复同一个动作矩阵乘法 S函数。六、 为什么说“层数越多矩阵越香”如果你只有3个节点你或许觉得写算式也行。但如果换成100个节点呢不用矩阵的话你要写 100×100 10000 个乘法算式累都能累死你。用了矩阵你只需要写一行X W · I。这就是矩阵的力量——它把“海量的体力活”变成了“简洁的脑力活”。你不需要告诉计算机怎么一个一个算只需要告诉它“把这俩矩阵乘一下”它就会自动调用最高效的算法把结果给你。七、 终极拷问算完了然后呢信号经过层层传递终于从输入端跑到了输出端我们得到了三个数字0.658, 0.735, 0.725。但问题来了这几个数字对不对比如我们期望它输出的是 (0.9, 0.1, 0.2)结果它输出的是 (0.658, 0.735, 0.725)这差得也太远了这说明我们刚才瞎编的那些随机权重W1 和 W2是不合格的那么怎么才能知道这差距有多大怎么把这巨大的差距“甩锅”给前面的每一个权重怎么让这些权重根据误差去调整自己使得下次输出更接近正确答案这就是神经网络最核心、最精妙、也是最难理解的部分——误差反向传播Backpropagation。下一期我们就要拿起“手术刀”解剖这个误差看看它到底是怎么一层一层往回传的。放心到了那时候矩阵乘法又会成为我们手中最锋利的武器帮我们轻松算出每个权重该调多少。保持你的好奇心我们下期见代码片段1计算相关代码如下import numpy as np # 1. 定义 Sigmoid 激活函数 def sigmoid(x): S函数将任意实数压缩到0~1之间 return 1 / (1 np.exp(-x)) # 2. 定义输入信号 # 3×1 的列向量对应文章中的 I [0.9, 0.1, 0.8]^T I np.array([[0.9], [0.1], [0.8]]) print(【输入信号 I】) print(I) print() # 3. 定义第一组权重输入层 → 隐藏层 # 3×3 矩阵对应文章中的 W_input_hidden W_input_hidden np.array([[0.9, 0.3, 0.4], [0.2, 0.8, 0.2], [0.1, 0.5, 0.6]]) print(【第一组权重 W_input_hidden输入层→隐藏层】) print(W_input_hidden) print() # 4. 第一次矩阵乘法X_hidden W_input_hidden × I # np.dot() 或 运算符都可以做矩阵乘法[reference:2][reference:3] X_hidden np.dot(W_input_hidden, I) # 或者 W_input_hidden I print(【第一次矩阵乘法 X_hidden W_input_hidden × I】) print(X_hidden) # 应该输出 [[1.16], [0.42], [0.62]] print() # 5. 第一次应用 SigmoidO_hidden sigmoid(X_hidden) O_hidden sigmoid(X_hidden) print(【第一次激活 O_hidden sigmoid(X_hidden)】) print(O_hidden) # 应该输出 [[0.761], [0.603], [0.650]] print() # 6. 定义第二组权重隐藏层 → 输出层 # 3×3 矩阵对应文章中的 W_hidden_output W_hidden_output np.array([[0.3, 0.6, 0.1], [0.5, 0.2, 0.8], [0.7, 0.4, 0.3]]) print(【第二组权重 W_hidden_output隐藏层→输出层】) print(W_hidden_output) print() # 7. 第二次矩阵乘法X_output W_hidden_output × O_hidden X_output np.dot(W_hidden_output, O_hidden) # 或者 W_hidden_output O_hidden print(【第二次矩阵乘法 X_output W_hidden_output × O_hidden】) print(X_output) # 应该输出 [[0.6551], [1.0211], [0.9689]] print() # 8. 第二次应用 Sigmoid最终输出 sigmoid(X_output) final_output sigmoid(X_output) print(【最终输出 sigmoid(X_output)】) print(final_output) # 应该输出 [[0.658], [0.735], [0.725]]