KNN算法是一种基于概率的距离算法，简单的来说就是靠近算法。首先对给出的训练集和测试集进行特征提取，计算测试集与训练集的特征欧式距离，也就是所谓的二范数。
计算测试集与训练集之间的距离之后，则对测试集与训练集之间的距离进行排序，然后确定k值。选取排序后的前k个值，选择其中出现类别最多的作为测试集的预测类别。
一、KNN算法原理
（1）采集数据样本–训练集
（2）输入测试数据集T
（3）计算T与训练集的每一数据之间的距离
（4）计算前k个点所在类别的出现频率
（5）返回前k个点出现频率最高的类别作为T的预测分类
在上面我们了解了KNN算法的实现及算法步骤，那么面对手写数字进行识别又该怎样做呢？
对数字的特征提取，需要把相应数字的特征记录下来，采用每个数字之间独一无二的特征进行识别即可。
二、手写数字的特征提取
常用的手写数字特征提取法：将每个数字进行分割，比如这里将数字分成4*5=20个小块，其中对于分割好的小块都有相应的像素构成。
注意：这里的小块还可以分为更多的小块，根据自己的需求而定。
但是在这里我们将不进行分割提取小块上的像素点，而是通过将数字图片二值化，得到它的二值化矩阵，将每一个二值化矩阵转化成一行，然后通过批次的将同一类别的数字转化，同时将其类别放在其后，最后构成带标签的训练矩阵。
比如，下面数字6：
