统一日期格式+统一路线名+UDF函数使用
日期格式 日期类型 统一格式 2021/11/16 2021-11-16 2021年11月16号 2021-11-16 2021年11月16日 2021-11-16 11月16日 2021-11-16 11-16 2021-11-16
//TODO 日期格式转换
def replaceDate2(date:String):String={
var ansDate = date
if(date.contains("/"))
{
val date1=new SimpleDateFormat("yyyy/MM/dd")
val date2=new SimpleDateFormat("yyyy-MM-dd")
val t: Date =date1.parse(date)
ansDate=date2.format(t)
}
else if(date.contains("年")&&date.contains("月")&&date.contains("号"))
{
val date1=new SimpleDateFormat("yyyy年MM月dd号")
val date2=new SimpleDateFormat("yyyy-MM-dd")
val t: Date =date1.parse(date)
ansDate=date2.format(t)
}
else if(date.contains("年")&&date.contains("月")&&date.contains("日"))
{
val date1=new SimpleDateFormat("yyyy年MM月dd日")
val date2=new SimpleDateFormat("yyyy-MM-dd")
val t: Date =date1.parse(date)
ansDate=date2.format(t)
}
else if(date.contains("月")&&date.contains("日"))
{
val date1=new SimpleDateFormat("MM月dd日")
val date2=new SimpleDateFormat("2021-MM-dd")
val t: Date =date1.parse(date)
ansDate=date2.format(t)
}
ansDate
}
//TODO 统一站点名的格式：例如将836改为836路
def replaceStationName(station:String):String={
var resStation=station
if(!station.endsWith("路"))
resStation = station+"路"
else
resStation = station
resStation
}
spark.udf register("replaceTime1", replaceTime1(_: String))
spark.udf register("replaceDate2", replaceDate2(_: String))
spark.udf register("replaceStationName", replaceStationName(_: String))
val addCol_replacegTime1 = udf(replaceTime1 _)
val df03=df02.withColumn("createTime",addCol_replacegTime1(df02("create_time")))
val addCol_replacegDate2 = udf(replaceDate2 _)
val df04=df03.withColumn("installTime",addCol_replacegDate2(df02("install_time")))
val addCol_replacegRoute1 = udf(replaceStationName _)
val df05=df04.withColumn("routeName",addCol_replacegRoute1(df02("route_name")))
