栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

在Python中从Spark DataFrame创建labeledPoints

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

在Python中从Spark DataFrame创建labeledPoints

如果您已经具有数字功能并且不需要其他转换,则可以使用

VectorAssembler
合并包含自变量的列:

from pyspark.ml.feature import VectorAssemblerassembler = VectorAssembler(    inputCols=["your", "independent", "variables"],    outputCol="features")transformed = assembler.transform(parsedData)

接下来,您可以简单地映射:

from pyspark.mllib.regression import LabeledPointfrom pyspark.sql.functions import col(transformed.select(col("outcome_column").alias("label"), col("features"))  .rdd  .map(lambda row: LabeledPoint(row.label, row.features)))

从Spark
2.0开始

ml
mllib
API不再兼容,而后者正朝着弃用和移除的方向发展。如果仍然需要此功能,则必须转换
ml.Vectors
mllib.Vectors

from pyspark.mllib import linalg as mllib_linalgfrom pyspark.ml import linalg as ml_linalgdef as_old(v):    if isinstance(v, ml_linalg.SparseVector):        return mllib_linalg.SparseVector(v.size, v.indices, v.values)    if isinstance(v, ml_linalg.DenseVector):        return mllib_linalg.DenseVector(v.values)    raise ValueError("Unsupported type {0}".format(type(v)))

和地图:

lambda row: LabeledPoint(row.label, as_old(row.features)))


转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/652482.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号