# 神经网络算法

其中最著名的算法backpropagation（BP算法）

# 多层向前神经网络（Multilayer Feed-Forward Neural Network）

使用神经网络前，必须确定神经网络的层数以及每层单元的个数
特征向量在被传入输入层时通常先被标准化到0——1之间（加速学习过程）
离散型变量可以被编码成每一个输入单元对应一个特征值可能赋的值（比如特征值A可以取a，b，c，则可以使用三个特征单元来代表特征值A，如果A=a，那么代表a的单元就取1，否则取0）
神经网络可以用作分类和回归问题
神经网络用作分类时，如果有两类（比如黑、白），则可以只用一个输出单元进行表示，其中0和1分别代表黑、白，当多于两类的时候，就每一类用一个单元
没有明确规则设计隐藏层，需要根据实验测试和误差、以及准确度来实验和改进

把数据集分成10份，每次分别取出1份来作为测试集，其他9份作为训练集，然后每次都求出准确度，最后取平均

k-fold cross validation

初始化weight和bias，随机初始化在-1到1之间，或者-0.5到0.5之间

图示

对于每个训练实例由输入层输入，然后经过一个激活函数

整个过程公式如下

$I_j = \sum_iw_{ij}x_i + \theta_j$

$O_j = \frac{1}{1+e^{-I_j}}$

对于输出层

$Err_j = O_j(1-O_j)(T_j-O_j)$

对于隐藏层

$Err_j = O_j(1-O_j)\sum_kErr_kw_{jk}$

权重更新

$\Delta{w_{ij} = (learning rate)Err_jO_i}$

$w_{ij} = w_{ij} + \Delta{w_{ij}}$

偏向更新

$\Delta\theta_{j} = (learning rate)Err_j$

$\theta_{j} = \theta_{j} + \Delta\theta_{j}$