多层感知机：Multi-Layer Perceptron

最新推荐文章于 2025-09-18 16:17:31 发布

原创最新推荐文章于 2025-09-18 16:17:31 发布 · 7.9w 阅读

238 ·

CC 4.0 BY-SA版权

文章标签：

#DNN #BP反向传播 #MLP #多层感知机 #机器学习

机器学习专栏收录该内容

35 篇文章

订阅专栏

本文详细介绍了多层感知机(MLP)的工作原理，包括前向传播和反向传播过程，以及梯度下降法更新参数的数学推导。

多层感知机：MLP

多层感知机由感知机推广而来，最主要的特点是有多个神经元层，因此也叫深度神经网络(DNN: Deep Neural Networks)。

感知机：PLA

多层感知机是由感知机推广而来，感知机学习算法(PLA: Perceptron Learning Algorithm)用神经元的结构进行描述的话就是一个单独的。

感知机的神经网络表示如下：

u = \sum i = 1 n w i x i + b y = s i g n (u) = {+ 1, u > 0 - 1, u \leq 0

从上述内容更可以看出，PLA是一个线性的二分类器，但不能对非线性的数据并不能进行有效的分类。因此便有了对网络层次的加深，理论上，多层网络可以模拟任何复杂的函数。

多层感知机：MLP

多层感知机的一个重要特点就是多层，我们将第一层称之为输入层，最后一层称之有输出层，中间的层称之为隐层。MLP并没有规定隐层的数量，因此可以根据各自的需求选择合适的隐层层数。且对于输出层神经元的个数也没有限制。
MLP神经网络结构模型如下,本文中只涉及了一个隐层，输入只有三个变量 [x1,x2,x3] 和一个偏置量 b ，输出层有三个神经元。相比于感知机算法中的神经元模型对其进行了集成。

前向传播

前向传播指的是信息从第一层逐渐地向高层进行传递的过程。以下图为例来进行前向传播的过程的分析。
假设第一层为输入层，输入的信息为[x1,x2,x3]。对于层 l ，用Ll表示该层的所有神经元，其输出为 yl ,其中第 j 个节点的输出为y(j)l,该节点的输入为 u(j)l ，连接第 l 层与第(l−1)层的权重矩阵为 Wl ，上一层（第 l−1 层）的第 i 个节点到第l层第 j 个节点的权重为w(ji)l。

结合之前定义的字母标记，对于第二层的三个神经元的输出则有：

y (1) 2 = f (u (1) 2) = f (\sum i = 1 n w 1 i 2 x i + b (1) 2) = f (w (11) 2 x 1 + w (12) 2 x 2 + w (13) 2 x 3 + b (1) 2) y (2) 2 = f (u (2) 2) = f (\sum i = 1 n w 2 i 2 x i + b (2) 2) = f (w (21) 2 x 1 + w (22) 2 x 2 + w (23) 2 x 3 + b (2) 2) y (3) 2 = f (u (3) 2) = f (\sum i = 1 n w 3 i 2 x i + b (3) 2) = f (w (31) 2 x 1 + w (32) 2 x 2 + w (33) 2 x 3 + b (3) 2)

将上述的式子转换为矩阵表达式：

y 2 = ⎡ ⎣ ⎢ ⎢ ⎢ y (1) 2 y (2) 2 y (3) 2 ⎤ ⎦ ⎥ ⎥ ⎥ = f ⎛ ⎝ ⎜ ⎜ ⎜ ⎡ ⎣ ⎢ ⎢ w 112 w 212 w 312 w 122 w 222 w 322 w 132 w 232 w 332 ⎤ ⎦ ⎥ ⎥ ⎡ ⎣ ⎢ x 1 x 2 x 3 ⎤ ⎦ ⎥ + ⎡ ⎣ ⎢ ⎢ ⎢ b (1) 2 b (2) 2 b (3) 2 ⎤ ⎦ ⎥ ⎥ ⎥ ⎞ ⎠ ⎟ ⎟ ⎟ = f (W 2 X + b 2)

将第二层的前向传播计算过程推广到网络中的任意一层，则:

⎧ ⎩ ⎨ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ y (j) l = f (u (j) l) u (j) l = \sum i \in L l - 1 w (j i) l y (i) l - 1 + b (j) l y l = f (u l) = f (W l y l - 1 + b l)

其中

f(⋅) 为激活函数，

b(j)l 为第

l 层第

j个节点的偏置。

反向传播

基本的模型搭建完成后的，训练的时候所做的就是完成模型参数的更新。由于存在多层的网络结构，因此无法直接对中间的隐层利用损失来进行参数更新，但可以利用损失从顶层到底层的反向传播来进行参数的估计。（约定：小写字母—标量，加粗小写字母—向量，大写字母—矩阵）

假设多层感知机用于分类，在输出层有多个神经元，每个神经元对应一个标签。输入样本为 x=[x1,x2,⋯,xn] ,其标签为 t ;
对于层 l ，用Ll表示该层的所有神经元，其输出为 yl ,其中第 j 个节点的输出为y(j)l,该节点的输入为 u(j)l ，连接第 l 层与第(l−1)层的权重矩阵为 Wl ，上一层（第 l−1 层）的第 i 个节点到第l层第 j 个节点的权重为w(ji)l。