神经网络：由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。
神经网络中最基本的成分是神经元(neuron)模型。
- 神经元模型
“M-P神经元模型”：神经元接收到来自n个其他神经元传递过来的输入信号,这些输入信号通过带权重的连接(connection)进行传递,神经元接收到的总输入值将与神经元的阈值进行比较,然后通过“激活函数”(activation function)处理以产生神经元的输出。
理想中的激活函数是的阶跃函数，然而，阶跃函数具有不连续、不光滑等不太好的性质，典型的Sigmoid函数如图所示，它把可能在较大范围内变化的输入值挤压到(0,1)输出值范围内，因此有时也称为“挤压函数”(squashing function)。
2. 感知机与多层网络
感知机(Perceptron)由两层神经元组成，如 图 5 .3 所示，输入层接收外 界输入信号后传递给输出层，输出层是M-P 神经元，亦称 “阈值逻辑单 元”(threshold logic unit).
更一般的，常见的神经网络是形如图5 .6所示的层级结构，每层神经元与下 一层神经元全互连，神经元之间不存在同层连接，也不存在跨层连接.这样的 神经网络结构通常称为“多层前馈神经网络" (multi-layer feedforward neural)
3.误差逆传播算法
误差逆传播(error BackPropagation,简称B P ) 算法就是其中最杰出的代表，它是迄今最成功的神 经网络学习算法
BP算法基于梯度下降(gradient descent)策略，以目标的负梯度方向对参数进行调整。对式的误差石Ek给定学习率〃有
