目录
前言
一、回归模型的一般描述
二、K近邻回归算法的描述
三、K近邻回归的预测规则
方式一、等权平均 --- 传统的K近邻决策方式
方式二、基于距离的加权平均
前言
有很多新手刚刚接触大数据与人工智能方向学习，如果不知道怎么着手的，跟我一起慢慢进步叭~
提示：以下是本篇文章正文内容，下面案例可供参考
一、回归模型的一般描述
给定训练样本集{(xi, yi),i = 1,…,n}.其中，xi为第i个观测样本的输入；yi为第i个观测样本的输出。
基于上述样本集，构建预测模型y = f(x) ----- 模型的回归学习
对特征空间的任意观测x的输出y进行预测 ----- 模型的使用
二、K近邻回归算法的描述
输入：（1）训练样本集D = {(xi, yi),i = 1,…,n}，其中，xi为第i个训练样本的特征向量；yi为第i个训练样本的目标输出
（2）观测样本x
输出：观测样本x对应的输出y
STEP1 输入特征的预处理
STEP2 选择K值（K值的选择）
STEP3 在训练集D内找到样本x的K个近邻，记为
STEP4 结合指定的预测规则，对x应导致的输出y进行预测
注：训练集固定的前提下，不同的距离度量方式、不同的K值、不同的预测规则，会导致不同的预测结果。K近邻回归的距离度量方式和K值与K近邻分类模型一致，现讨论不同的预测规则对K近邻回归模型的影响，距离度量方式和K值的选择见上一篇博客（K近邻分类模型）
三、K近邻回归的预测规则
方式一、等权平均 --- 传统的K近邻决策方式
对于给定的观测样本x，利用距离度量，在训练样本集D中确定x的前K个近邻，x应导致的输出Y预测为：
方式二、基于距离的加权平均
对于给定的观测样本x，利用距离度量，在训练样本集D中确定x的前K个近邻，对于，该训练样本关于x的距离为d(x,xj)，引入基于距离的预测权值，如：
则x应导致的输出y预测为：
