explode和
split是SQL函数。两者都在SQL上运行
Column。
split将Java正则表达式作为第二个参数。如果要在任意空格上分离数据,则需要这样的操作:
df = sqlContext.createDataframe( [('cat nn elephant rat n rat cat', )], ['word'])df.select(explode(split(col("word"), "s+")).alias("word")).show()## +--------+## | word|## +--------+## | cat|## |elephant|## | rat|## | rat|## | cat|## +--------+


