机器学习（一）

• • 安装python环境及numpy库
  • 开始KNN算法
  • 一、算法原理
  • 二、算法实现
  • 三、准备数据
  • 出现的错误
  • 结果

一、安装python环境及numpy库
忘记之前是什么时候安装好的python环境了，所以直接安装numpy库就好了
打开命令控制符，输入

pip install numpy

出现错误，于是按照提示输入指令升级pip版本

安装成功

（ps：感觉pycharm或者anaconda会更简单一点，下次试试

邻近算法，或者说K最近邻(kNN，k-NearestNeighbor)分类算法是机器学习分类技术中最简单的方法之一。
所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。

属于监督学习，有类别标记，且KNN是惰性学习。叫做Memory-based learning、也叫instance-based learning. 他没有明显的前期训练过程，在程序运行之后，把数据加载到内存后，不需要进行训练就可以分类。

1、计算出每一个样本点与测试点的距离
2、选取距离最近的K个样本，并获取他们的标签 label
3、然后找出K个样本中数量最多的标签，返回该标签

KNN的本质是基于一种数据统计的方法。

将图像转换为向量，执行该函数

手写体识别数字

def handwritingClassTest():
    hwLabels = []
    trainingFileList = listdir('trainingDigits')           #load the training set
    m = len(trainingFileList)
    trainingMat = zeros((m,1024))
    for i in range(m):
        fileNameStr = trainingFileList[i]
        fileStr = fileNameStr.split('.')[0]     #take off .txt
        classNumStr = int(fileStr.split('_')[0])
        hwLabels.append(classNumStr)
        trainingMat[i,:] = img2vector('trainingDigits/%s' % fileNameStr)
    testFileList = listdir('testDigits')        #iterate through the test set
    errorCount = 0.0
    mTest = len(testFileList)
    for i in range(mTest):
        fileNameStr = testFileList[i]
        fileStr = fileNameStr.split('.')[0]     #take off .txt
        classNumStr = int(fileStr.split('_')[0])
        vectorUnderTest = img2vector('testDigits/%s' % fileNameStr)
        classifierResult = classify0(vectorUnderTest, trainingMat, hwLabels, 3)
        print ("the classifier came back with: %d, the real answer is: %d" % (classifierResult, classNumStr))
        if (classifierResult != classNumStr): errorCount += 1.0
    print ("nthe total number of errors is: %d" % errorCount)
    print ("nthe total error rate is: %f" % (errorCount/float(mTest)))

出现这个错误的原因是python的版本问题，我使用的是python3的版本，如果是python2.X的版本就不会出现这个错误，所以需要将iteritems改为items