您可以
pyspark.sql.functions.percent_rank()用来获取按时间戳/日期列排序的Dataframe的百分位排名。然后选择所有列
rank<= 0.8作为训练集，其余作为测试集。
例如，如果您具有以下Dataframe：
df.show(truncate=False)#+---------------------+---+#|date |x |#+---------------------+---+#|2018-01-01 00:00:00.0|0 |#|2018-01-02 00:00:00.0|1 |#|2018-01-03 00:00:00.0|2 |#|2018-01-04 00:00:00.0|3 |#|2018-01-05 00:00:00.0|4 |#+---------------------+---+
您需要训练集中的前4行和训练集中的最后一行。首先添加一列
rank：
from pyspark.sql.functions import percent_rankfrom pyspark.sql import Windowdf = df.withColumn("rank", percent_rank().over(Window.partitionBy().orderBy("date")))现在使用
rank将数据拆分为
train和
test：
train_df = df.where("rank <= .8").drop("rank")train_df.show()#+---------------------+---+#|date |x |#+---------------------+---+#|2018-01-01 00:00:00.0|0 |#|2018-01-02 00:00:00.0|1 |#|2018-01-03 00:00:00.0|2 |#|2018-01-04 00:00:00.0|3 |#+---------------------+---+test_df = df.where("rank > .8").drop("rank")test_df.show()#+---------------------+---+#|date |x |#+---------------------+---+#|2018-01-05 00:00:00.0|4 |#+---------------------+---+
