1. 感知机

感知机通常情况下指单层的人工神经网络，其结构与 MP 模型类似（按照生物神经元的结构和工作原理造出来的一个抽象和简化了模型，也称为神经网络的一个处理单元）

假设由一个 n 维的单层感知机，则：

• x 1 x_1 x1​ 至 x n x_n xn​ 为 n 维输入向量的各个分量
• w 1 j w_{1j} w1j​ 至 w n j w_{nj} wnj​ 为各个输入分类连接感知机的权重（权值），$\sum$ 为阈值
• f 为激活函数（激励函数或传递函数），O 为标量输出
• 理想的函数为阶跃函数或 Sigmoid 函数，目标是通过输入向量 x 与权重向量 w 求得内积后，通过激活函数 f 所得的标量

2. 多层感知机与反向传播

在多层感知机中使用 BP 算法（由信号的正向传播和误差的反向传播两个过程组成，由于多层前馈网络的训练，经常采用误差反向传播算法），采用 Sigmoid （生物学中的常见的 S 型函数，也成为 S 型生长曲线）进行非线性映射，解决了非线性分类和学习的问题

多层感知机是单层感知机的推广，最主要的特点是有多个神经元层。

• 将 MLP 的第一层称为输入层，中间成为隐藏层（隐含层），最后一层为输出层，对于隐藏层和输出层中每层神经元的个数也没有限制

• 输出为 y，损失函数为 E

y = h 1 w h 1 + h 2 w h 2 = x 1 w 11 + x 2 w 12 + x 1 w 21 + x 2 w 22 y=h_1w_{h1}+h_2w_{h2}=x_1w_{11}+x_2w_{12}+x_1w_{21}+x_2w_{22} y=h1​wh1​+h2​wh2​=x1​w11​+x2​w12​+x1​w21​+