背景:做需求时发现一张ods层的表,有些数据换行了. 数据中有换行符,查了下ods层的表为textfile的.
解决:
- 第一步:通过把textfile行式储存格式表删除(注意:你要能把所有数据重新导入到hive才能删哦),重新建一张列式(如:parquet,orc)储存格式表,这样就算字段内容当中含有换行符,内容也不会分行了.
- 第二步:regexp_replace(需要处理的字段名称,’n|r|t’,’’) as 重新命名,来处理这些制表符和换行符
总结: ods层的表应该用parquet这种列式储存的
