您不需要udf
为此的功能
您只需要将 double epoch列强制转换为timestampType()
，然后使用
data_format如下功能
from pyspark.sql import functions as ffrom pyspark.sql import types as tdf.withColumn('epoch', f.date_format(df.epoch.cast(dataType=t.TimestampType()), "yyyy-MM-dd"))这会给你一个字符串日期
root |-- epoch: string (nullable = true) |-- var1: double (nullable = true) |-- var2: double (nullable = true)
您可以使用
to_date以下功能
from pyspark.sql import functions as ffrom pyspark.sql import types as tdf.withColumn('epoch', f.to_date(df.epoch.cast(dataType=t.TimestampType())))这将使你
date作为
datatype以
epoch列
root |-- epoch: date (nullable = true) |-- var1: double (nullable = true) |-- var2: double (nullable = true)
我希望答案是有帮助的
