- 一 算法原理
- 二 算法简单实现样例
- 代码实现
- 运行截图
- 三 算法实战
- 代码及数据获取 密码：5ndu
- 约会网站的配对效果案例
- 1.代码实现
- 2.运行截图
- 数字识别案例
- 1.代码实现
- 2.运行截图
K最近邻(k-Nearest Neighbor，KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：在特征空间中，如果一个样本附近的k个最近(即特征空间中最邻近)样本的大多数属于某一个类别，则该样本也属于这个类别。
二 算法简单实现样例 代码实现# 数据准备
def createDataSet():
group = array([
[1.0, 1.1],
[1.0, 1.0],
[0, 0],
[0, 0.1]
])
labels = ['A', 'A', 'B', 'B']
return group, labels
# 测试
group, labels = createDataSet()
print("训练数据:", group)
print("标签:", labels)
# k-近邻算法
def classify0(inX, dataSet, labels, k): # 输入向量，训练数据，标签，参数k
dataSetSize = dataSet.shape[0] # 数据个数
diffMat = tile(inX, (dataSetSize, 1)) - dataSet # tile函数，求输入数据与训练数据对应值的相减
sqDiffMat = diffMat ** 2 # 平方
sqDistances = sqDiffMat.sum(axis=1) # 求和
distances = sqDistances ** 0.5 # 开根号
sortedDistIndicies = distances.argsort() # 返回数组值从小到大的索引
classCount = {} # 创建一个字典，用于记录每个实例对应的频数
for i in range(k):
voteIlabel = labels[sortedDistIndicies[i]] # 选择k个距离最小的点，对应标签
classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1 # 统计频数
sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True) # 排序，reverse=True降序
# python2中用iteritems
return sortedClassCount[0][0] # 返回最多的
# 测试
result = classify0([1.2, 1], group, labels, 3)
print("预测标签为：", result)
运行截图
三 算法实战
代码及数据获取 密码：5ndu
约会网站的配对效果案例
1.代码实现
# k-近邻算法
def classify0(inX, dataSet, labels, k): # 输入向量，训练数据，标签，参数k
dataSetSize = dataSet.shape[0] # 数据个数
diffMat = tile(inX, (dataSetSize, 1)) - dataSet # tile函数，求输入数据与训练数据对应值的相减
sqDiffMat = diffMat ** 2 # 平方
sqDistances = sqDiffMat.sum(axis=1) # 求和
distances = sqDistances ** 0.5 # 开根号
sortedDistIndicies = distances.argsort() # 返回数组值从小到大的索引
classCount = {} # 创建一个字典，用于记录每个实例对应的频数
for i in range(k):
voteIlabel = labels[sortedDistIndicies[i]] # 选择k个距离最小的点，对应标签
classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1 # 统计频数
sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True) # 排序，reverse=True降序
# python2中用iteritems
return sortedClassCount[0][0] # 返回最多的
# 将文本记录转换为Numpy
def file2matrix(filename):
fr = open(filename) # 打开文件
arrayOLines = fr.readlines()
numberOfLines = len(arrayOLines) # 得到文件行数
returnMat = zeros((numberOfLines, 3)) # 创建0填充的Numpy矩阵
classLabelVector = [] # 创建空列表
index = 0
for line in arrayOLines: # 循环处理文件中的每行数据
line = line.strip() # 使用strip函数，截取掉所有的回车字符
listFromLine = line.split('t') # 将上一步得到的整行数据分割成一个元素列表
returnMat[index, :] = listFromLine[0:3] # 选取前3个元素，形成特征矩阵
classLabelVector.append(int(listFromLine[-1])) # 索引值-1选取列表中的最后一列，将其存储到classLabelVector中（必须明确告知存储元素值为整型）
index += 1
return returnMat, classLabelVector
# 测试
datingDataMat, datingLabels = file2matrix('C:/Users/cool/Desktop/datingTestSet2.txt')
# 归一化特征值
def autoNorm(dataSet):
minVals = dataSet.min(0) # 最小值 参数0是的函数可以从列中选取最小值
maxVals = dataSet.max(0) # 最大值
ranges = maxVals - minVals # 取值范围
normDateSet = zeros(shape(dataSet)) # 创建与dataSet同型的0填充矩阵
m = dataSet.shape[0] # 每列数据个数
normDateSet = dataSet - tile(minVals, (m, 1)) # 每列原来的数据减去没列最小值
normDateSet = normDateSet / tile(ranges, (m, 1)) # 除以取值范围
return normDateSet, ranges, minVals
# 测试
normMat, ranges, minVals = autoNorm(datingDataMat)
# 分类器针对约会网站的测试代码
def datingClassTest():
hoRatio = 0.10
datingDataMat, datingLabels = file2matrix('C:/Users/cool/Desktop/datingTestSet2.txt') # 读取数据
normMat, ranges, minVals = autoNorm(datingDataMat) # 归一化处理
m = normMat.shape[0]
numTestVecs = int(m * hoRatio) # 用于测试的数据
errorCount = 0
for i in range(numTestVecs):
classifierResult = classify0(normMat[i, :], normMat[numTestVecs:m, :], datingLabels[numTestVecs:m], 3) # 分类函数
print("the classifier came back with : %d, the real answer is : %d" % (classifierResult, datingLabels[i]))
if (classifierResult != datingLabels[i]):
errorCount += 1
print("the total error rate is : %f" % (errorCount / float(numTestVecs)))
# 测试
datingClassTest()
# 约会网站预测函数
def classifyPerson():
resultList = ['不喜欢的人', '魅力一般的人', '极具魅力的人']
percentTats = float(input("玩视频游戏所耗时间百分比："))
ffMiles = float(input("每年获得的飞行常客里程数："))
iceCream = float(input("每年消费冰淇淋公升数："))
datingDataMat, datingLabels = file2matrix("C:/Users/cool/Desktop/datingTestSet2.txt")
normMat, ranges, minVals = autoNorm(datingDataMat)
inArr = array([ffMiles, percentTats, iceCream])
classifierResult = classify0((inArr - minVals) / ranges, normMat, datingLabels, 3)
print("你对这个人的印象是：", resultList[classifierResult - 1])
# 测试
classifyPerson()
2.运行截图
数字识别案例
1.代码实现
from numpy import * # 科学计算包Numpy
import operator # 运算符模块
import os
# k-近邻算法
def classify0(inX, dataSet, labels, k): # 输入向量，训练数据，标签，参数k
dataSetSize = dataSet.shape[0] # 数据个数
diffMat = tile(inX, (dataSetSize, 1)) - dataSet # tile函数，求输入数据与训练数据对应值的相减
sqDiffMat = diffMat ** 2 # 平方
sqDistances = sqDiffMat.sum(axis=1) # 求和
distances = sqDistances ** 0.5 # 开根号
sortedDistIndicies = distances.argsort() # 返回数组值从小到大的索引
classCount = {} # 创建一个字典，用于记录每个实例对应的频数
for i in range(k):
voteIlabel = labels[sortedDistIndicies[i]] # 选择k个距离最小的点，对应标签
classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1 # 统计频数
sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True) # 排序，reverse=True降序
# python2中用iteritems
return sortedClassCount[0][0] # 返回最多的
# 手写识别系统
# 将图像格式转化为向量 32*32 --> 1*1024
def img2vector(filename):
returnVect = zeros((1, 1024)) # 创建1*1024的0填充向量矩阵
fr = open(filename) # 打开文件
for i in range(32): # 读取文件的前32行，前32列
lineStr = fr.readline()
for j in range(32):
returnVect[0, 32 * i + j] = int(lineStr[j])
return returnVect # 返回每个图像的向量
testVector = img2vector('C:/Users/cool/Desktop/源代码以及数据/testDigits/0_13.txt')
print(testVector[0, 0:31])
print(testVector[0, 32:63])
# 手写数字识别系统的测试代码
def handwritingClassTest():
hwLabels = []
trainingFileList = os.listdir('C:/Users/cool/Desktop/源代码以及数据/trainingDigits') # 获取目录内容
m = len(trainingFileList)
trainingMat = zeros((m, 1024))
for i in range(m):
fileNameStr = trainingFileList[i]
fileStr = fileNameStr.split('.')[0]
classNumStr = int(fileStr.split('_')[0])
hwLabels.append(classNumStr)
trainingMat[i,:] = img2vector('C:/Users/cool/Desktop/源代码以及数据/trainingDigits/%s' % fileNameStr)
testFileList = os.listdir('C:/Users/cool/Desktop/源代码以及数据/testDigits')
errorCount = 0.0
mTest = len(testFileList)
for i in range(mTest):
fileNameStr = testFileList[i]
fileStr = fileNameStr.split('.')[0]
classNumStr = int(fileStr.split('_')[0])
vectorUnderTest = img2vector('C:/Users/cool/Desktop/源代码以及数据/testDigits/%s' % fileNameStr)
classifierResult = classify0(vectorUnderTest, trainingMat, hwLabels, 3)
print("预测结果为：%d，真实值为：%d" % (classifierResult, classNumStr))
if (classifierResult != classNumStr):
errorCount += 1.0
print("预测错误的总数为：%d" % errorCount)
print("手写数字识别系统的错误率为：%f" % (errorCount / float(mTest)))
# 测试手写数字识别系统
handwritingClassTest()
2.运行截图
