栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

python解析文件的编码格式

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

python解析文件的编码格式

问题

python直接打开非utf-8编码格式的文件,并使用readline()读取内容,会出现字节解析失败。

with open(file, 'r') as f:
	str = f.readline()

报错信息如下:
UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xff in position 0: invalid start byte

解决办法

使用chardet库可以分析字节流的编码格式。
方法一:

import chardet
def predict_encoding(file_path):
    with open(file_path, 'rb') as f:
        d = chardet.detect(f.read())
        print(d)
        file_encoding = d['encoding']
    return file_encoding

方法一会将文件中所有内容进行编码解析,遇到文件内容较大时,执行时间较长。
我们也可以只读取文件的开头一定行数的字节,再解析其编码,如方法二只读取文件的前1000行:
方法二:

import chardet
def predict_encoding(file_path, n_lines=1000):
    with open(file_path, 'rb') as f:
        rawdata = b''.join([f.readline() for _ in range(n_lines)])
        d = chardet.detect(rawdata)
        print(d)
        file_encoding = d['encoding']
    return file_encoding
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/938837.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号