栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

特征筛选6——肯德尔相关系数筛选特征(单变量筛选)

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

特征筛选6——肯德尔相关系数筛选特征(单变量筛选)

肯德尔系数主要是用来判断两个有序序列的相关性

大致的计算流程:

  1. 对x与y先进行排序,得到不同的值对应的顺序
  2. x与y配对计算,判断他们的顺序的一致对 (x的顺序与y的顺序相同) 和分歧对 (x的顺序与y的顺序相反)
  3. 最后根据这个顺序的统计结果计算得到肯德尔系数的结果

注:我们可以看到,如果x或y序列中有大量的值重复,比如部分完全相同的x与y序列,这个就很难区分了。因此有基于这种思想的不同的计算方法(成为肯德尔系数的变种),在scipy.stats.kendalltau中参数variant='b'就是指定变种。

更多请参考:scipy.stats.kendalltau文档参考:https://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.kendalltau.html

简易示例:

from scipy.stats import kendalltau

if __name__ == '__main__':
    corr_values = kendalltau(
        [1, 2, 3, 4, 5],
        [5, 4, 3, 2, 5],
    )
    print(corr_values)
示例代码
import pandas as pd
from sklearn.datasets import make_classification


def kendalltau_selection(x_data, y_data):
    """肯德尔相关系数"""
    from scipy.stats import kendalltau
    param_dict = []
    for col_name, c_data in x_data.iteritems():
        sp = kendalltau(c_data, y_data)[0]
        param_dict.append([col_name, abs(sp)])
    max_param3 = sorted(param_dict, key=lambda x: -x[1]) # 对结果排序
    # 打印结果
    print("kendalltau:")
    for param in max_param3:
        print(param[0], ":", param[1])


if __name__ == '__main__':
    value_x, value_y = make_classification(n_samples=1000, n_classes=4, n_features=10, n_informative=8)
    df_x = pd.Dataframe(value_x, columns=['f_1', 'f_2', 'f_3', 'f_4', 'f_5', 'f_6', "f_7", "f_8", "f_9", "f_10"])
    df_y = pd.Series(value_y)
    # 下面是筛选单变量特征
    feature_df = kendalltau_selection(df_x, value_y)
参考资料

常用的特征选择方法之 Kendall 秩相关系数:https://guyuecanhui.github.io/2019/08/10/feature-selection-kendall/

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/656689.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号