背景:
csv文件编码为utf-8,但是文件中包含一些无法转义的字符
解决办法:
1.编码
Python3解决UnicodeDecodeError: 'utf-8' codec can't decode byte..问题 终极解决方案_技术笔记-CSDN博客
python加载csv,tsv文件时遇到的各种编码错误问题解决方法 - 知乎
2.以上方法不适用于我的情况,因为我不是decode读取文件,我是pd.read_csv,我想要一个参数直接跳过编码错误的行。
方法:在pd.read_csv前加上with open并在其中添加参数errors='ignore'
获取文件编码:python chardet 判断文件编码_CHERISHGF的博客-CSDN博客
encoding = get_encoding(local_file_path) filename = open(local_file_path, encoding='utf-8', errors='ignore') cell_param = pd.read_csv(filename, encoding=encoding, sep='|', header=None, skiprows=1, error_bad_lines=False)



