宜人贷垮了:BP神经网络基本原理

BP神经网络基本原理

2.1 BP神经网络基本原理

     BP网络模型处理信息的基本原理是：输入信号X_i通过中间节点（隐层点）作用于输出节点，经过非线形变换，产生输出信号Y_k，网络训练的每个样本包括输入向量X和期望输出量t，网络输出值Y与期望输出值t之间的偏差，通过调整输入节点与隐层节点的联接强度取值W_ij和隐层节点与输出节点之间的联接强度T_jk以及阈值，使误差沿梯度方向下降，经过反复学习训练，确定与最小误差相对应的网络参数（权值和阈值），训练即告停止。此时经过训练的神经网络即能对类似样本的输入信息，自行处理输出误差最小的经过非线形转换的信息。

2.2 BP神经网络模型

BP网络模型包括其输入输出模型、作用函数模型、误差计算模型和自学习模型。

（1）节点输出模型

隐节点输出模型：O_j=f(∑W_ij×X_i-q _j)    (1)

输出节点输出模型：Y_k=f(∑T_jk×O_j-q _k) (2)

f-非线形作用函数；q -神经单元阈值。
 

图1 典型BP网络结构模型

（2）作用函数模型

作用函数是反映下层输入对上层节点刺激脉冲强度的函数又称刺激函数，一般取为(0,1)内连续取值Sigmoid函数：                        f(x)=1/(1+e^-x)                   （3）

（3）误差计算模型

误差计算模型是反映神经网络期望输出与计算输出之间误差大小的函数：

                    E_p=1/2×∑(t_pi-O_pi)²                (4)

t_pi- i节点的期望输出值；O_pi-i节点计算输出值。

（4）自学习模型

  神经网络的学习过程，即连接下层节点和上层节点之间的权重拒阵W_ij的设定和误差修正过程。BP网络有师学习方式-需要设定期望值和无师学习方式-只需输入模式之分。自学习模型为

                       △W_ij(n+1)= h ×Ф_i×O_j+a×△W_ij(n) （5）

h -学习因子；Ф_i-输出节点i的计算误差；O_j-输出节点j的计算输出；a-动量因子。

2.3 BP网络模型的缺陷分析及优化策略

（1）学习因子h 的优化

采用变步长法根据输出误差大小自动调整学习因子，来减少迭代次数和加快收敛速度。

 h =h +a×(E_p(n)- E_p(n-1))/ E_p(n) a为调整步长，0~1之间取值 （6）

（2）隐层节点数的优化

     隐节点数的多少对网络性能的影响较大，当隐节点数太多时，会导致网络学习时间过长，甚至不能收敛；而当隐节点数过小时，网络的容错能力差。利用逐步回归分析法并进行参数的显著性检验来动态删除一些线形相关的隐节点，节点删除标准：当由该节点出发指向下一层节点的所有权值和阈值均落于死区（通常取±0.1、±0.05等区间）之中，则该节点可删除。最佳隐节点数L可参考下面公式计算：

L=(m+n)^1/2+c (7)

m-输入节点数；n-输出节点数；c-介于1～10的常数。

（3）输入和输出神经元的确定

利用多元回归分析法对神经网络的输入参数进行处理，删除相关性强的输入参数，来减少输入节点数。

（4）算法优化

由于BP算法采用的是剃度下降法，因而易陷于局部最小并且训练时间较长。用基于生物免疫机制地既能全局搜索又能避免未成熟收敛的免疫遗传算法IGA取代传统BP算法来克服此缺点。

　3. 优化BP神经网络在系统安全评价中的应用

     系统安全评价包括系统固有危险性评价、系统安全管理现状评价和系统现实危险性评价三方面内容。其中固有危险性评价指标有物质火灾爆炸危险性、工艺危险性、设备装置危险性、环境危险性以及人的不可靠性。

3.1 基于优化BP神经网络的系统安全评价模型

图-2 基于优化BP神经网络的系统安全评价模型

3.2 BP神经网络在系统安全评价中的应用实现

（1）确定网络的拓扑结构，包括中间隐层的层数，输入层、输出层和隐层的节点数。

（2）确定被评价系统的指标体系包括特征参数和状态参数

    运用神经网络进行安全评价时，首先必须确定评价系统的内部构成和外部环境，确定能够正确反映被评价对象安全状态的主要特征参数（输入节点数，各节点实际含义及其表达形式等），以及这些参数下系统的状态（输出节点数，各节点实际含义及其表达方式等）。

（3）选择学习样本，供神经网络学习

    选取多组对应系统不同状态参数值时的特征参数值作为学习样本，供网络系统学习。这些样本应尽可能地反映各种安全状态。其中对系统特征参数进行(-∞,∞)区间地预处理，对系统参数应进行(0,1)区间地预处理。神经网络的学习过程即根据样本确定网络的联接权值和误差反复修正的过程。

（4）确定作用函数，通常选择非线形S型函数

(5) 建立系统安全评价知识库

    通过网络学习确认的网络结构包括：输入、输出和隐节点数以及反映其间关联度的网络权值的组合；即为具有推理机制的被评价系统的安全评价知识库。

(6) 进行实际系统的安全评价

    经过训练的神经网络将实际评价系统的特征值转换后输入到已具有推理功能的神经网络中，运用系统安全评价知识库处理后得到评价实际系统的安全状态的评价结果。实际系统的评价结果又作为新的学习样本输入神经网络，使系统安全评价知识库进一步充实。

3.3 BP神经网络理论应用于系统安全评价中的优点

（1）利用神经网络并行结构和并行处理的特征，通过适当选择评价项目，能克服安全评价的片面性，可以全面评价系统的安全状况和多因数共同作用下的安全状态。

（2）运用神经网络知识存储和自适应特征，通过适应补充学习样本，可以实现历史经验与新知识完满结合，在发展过程中动态地评价系统的安全状态。

（3）利用神经网络理论的容错特征，通过选取适当的作用函数和数据结构，可以处理各种非数值性指标，实现对系统安全状态的模糊评价。