Dataframe列转json以及json转Dataframe列
spark structed stream接入kafka时,获取到的value字段一般情况下是json的字符串类型，
一般情况下处理的时候需要转成Dataframe列的形式来处理，等处理结束后，再把经过转换后的
列转成json字符串的形式写到kafka中
json字符串转成Dataframe列的代码如下：
data = [("1", '''{"f1": "value1", "f2": "value2"}'''), ("2", '''{"f1": "value12"}''')]
df = spark.createDataframe(data, ("key", "jstring"))
df.show(10, False)
dfparse = df.select(df.key, get_json_object(df.jstring, '$.f1').alias("c0"), get_json_object(df.jstring, '$.f2').alias("c1") )
dfparse.show(10, False)
Dataframe列转成json字符串的代码如下：
finalDF = dfparse.withColumn("jsonCol", to_json(struct("key","c0","c1")))
finalDF.show(10, False)
