栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Spark获取DataFrame中列的方式--col,$,column,apply

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Spark获取DataFrame中列的方式--col,$,column,apply

Spark获取DataFrame中列的方式--col,$,column,apply
        • 1 官方说明
        • 2 使用时涉及到的的包
      • 3 Demo

1 官方说明
df("columnName")       		//在特定数据帧上     
col("columnName")           //尚未与数据帧关联的通用列
col("columnName.field")     //提取结构字段
col("`a.column.with.dots`") //转义。在列名中
$"columnName"          		//Scala命名列的缩写     
expr("a + 1")          		//由解析的SQL表达式构造的列     
lit("abc") 					//产生文字(常量)值的列
2 使用时涉及到的的包
//
   import spark.implicits._
   import org.apache.spark.sql.functions._
   import org.apache.spark.sql.Column
3 Demo
//
scala> val idCol = $"id"
idCol: org.apache.spark.sql.ColumnName = id
 
scala> val idCol = col("id")
idCol: org.apache.spark.sql.Column = id
 
scala> val idCol = column("id")
idCol: org.apache.spark.sql.Column = id

scala> val dataset = spark.range(5).toDF("text")
dataset: org.apache.spark.sql.DataFrame = [text: bigint]
 
scala> val textCol = dataset.col("text")
textCol: org.apache.spark.sql.Column = text
 
scala> val textCol = dataset.apply("text")
textCol: org.apache.spark.sql.Column = text
 
scala> val textCol = dataset("text")
textCol: org.apache.spark.sql.Column = text
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/1006177.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号