从网络上下载大文件时，官网一般都会提供一个MD5、SHA1或SHA256值：
很多同学可能会好奇这些东西到底是干嘛的？其实这是用来校验文件完整性的。因为从网络上下载大文件具有不确定性，可能会受很多因素影响，比如网络抖动导致文件下载不完成，文件被恶意篡改等，这些问题都会导致最终下载的文件无法正常使用。
简介本文基于 Python 的内置模块 hashlib 实现文件MD5、SHA1、SHA256值的计算。
方法 针对小文件（＜500MB）直接以二进读模式（rb）加载进来，然后计算。
import hashlib
def encrypt(fpath: str, algorithm: str) -> str:
with open(fpath, 'rb') as f:
return hashlib.new(algorithm, f.read()).hexdigest()
if __name__ == '__main__':
for algorithm in ('md5', 'sha1', 'sha256'):
hexdigest = encrypt('test.file', algorithm)
print(f'{algorithm}: {hexdigest}')
针对大文件（500MB~1GB）
为了更友好地视觉体验，可以增加一个进度条。（进度条用 rich 实现，安装：pip install rich）
import hashlib
import rich.progress
def encrypt(fpath: str, algorithm: str) -> str:
with rich.progress.open(fpath, 'rb') as f:
return hashlib.new(algorithm, f.read()).hexdigest()
if __name__ == '__main__':
for algorithm in ('md5', 'sha1', 'sha256'):
hexdigest = encrypt('test.file', algorithm)
print(f'{algorithm}: {hexdigest}')
针对超大文件（＞1GB）
为了避免内存溢出，按块读取并迭代计算。
import hashlib
import rich.progress
def encrypt(fpath: str, algorithm: str) -> str:
with rich.progress.open(fpath, 'rb') as f:
hash = hashlib.new(algorithm)
for chunk in iter(lambda: f.read(2**20), b''):
hash.update(chunk)
return hash.hexdigest()
if __name__ == '__main__':
for algorithm in ('md5', 'sha1', 'sha256'):
hexdigest = encrypt('ubuntu-22.04-desktop-amd64.iso', algorithm)
print(f'{algorithm}: {hexdigest}')
Reading... ---------------------------------------- 3.7/3.7 GB 0:00:00 md5: 7621da10af45a031ea9a0d1d7fea9643 Reading... ---------------------------------------- 3.7/3.7 GB 0:00:00 sha1: 8a73a36f38397974d5517b861a68577514ef694e Reading... ---------------------------------------- 3.7/3.7 GB 0:00:00 sha256: b85286d9855f549ed9895763519f6a295a7698fb9c5c5345811b3eefadfb6f07校验
ubuntu-22.04-desktop-amd64.iso 是 ubuntu 的一个桌面系统镜像文件，文件大小是 3.7GB，官方给出的校验 sha256 值如下：
可以看到，和我们用 Python 计算的 sha256 值是一模一样的，说明我们下载的文件是没问题的。
参考hashlib — Secure hashes and message digests
