python爬取m3u8视频教程

之前爬取的视频都是mp4格式的，直接用requests请求就可以直接爬取，最近公司安排了一个小任务，需要爬取m3u8这种格式的视频。了解了一下，这种格式的视频，就是一小段一小段的ts文件组成的视频，播放时按照顺序拼接成mp4的视频。下面我们开始爬取视频

首先我们获取到m3u8文件。文件内容大致是这样的：

# EXTM3U：.m3u8文件的格式定义
# EXT-X-KEY： 密钥的信息
# METHOD： 加密的方法，这里采用的是AES-128的加密方式
# URI： 密钥的地址，需要获取访问得到密钥的信息
# IV： 偏移量，AES加密的方法，通过这个密钥就可以解密，获取正确的视频信息

有些m3u8文件是没有加密信息的，我这个爬取的有加密信息，一般都是采用AES-128进行加密的。如果没有则跳到这一步

这里采用正则匹配出加密文件的url，然后匹配出偏移量，偏移量的0x需要替换掉，然后取前面16位。

解密的库 pip install pycryptodome

from Crypto.Cipher import AES
# 获取加密文件
key_link = re.search('URI="(.*?)"', content).group(1)
key = self.session.get(key_link).content
# 获取偏移量
iv = re.search('IV=(.*)', content).group(1).replace('0x', "")[:16].encode()
# 构建解码器
self.crypto = AES.new(key, AES.MODE_CBC, iv)
self.is_crypto = True
logger.warning('加密视频')

解析ts的url直接安装m3u8这个库，解析出m3u8文件中的ts文件url

pip install m3u8

import m3u8
# content 为m3u8文件内容 ，解析出文件的ts文件url地址
m3u8_obj = m3u8.loads(content)
files = m3u8_obj.files

解析完毕后直接，下载url就可以了，里面就是视频内容

如果视频有加密就进行这一步，如果没有就可以直接合并视频。

使用之前构建的解码器，解析一下就可以了

with open('xxx.ts', 'wb') as f:
    for chunk in response.iter_content(chunk_size=1024):
        if chunk:
            if self.is_crypto:
                f.write(self.crypto.decrypt(chunk))
            else:
                f.write(chunk)

如果是windows系统的话：使用合并命令

copy /b 1.ts+2.ts+3.ts output.mp4

# 切换到文件目录
os.chdir("下载的ts片段目录")
ts_list = glob.glob('*.ts')
# ts_list 排序
ts_list = sorted(ts_list, key=lambda i: int(re.search('(d+).ts', i).group(1)))
# 合并命令
merge_ts_list = "+".join(ts_list)
merge_command = f'copy /b {merge_ts_list} output.mp4'
# 执行合并命令
os.system(merge_command)

如果是ubuntu的话需要安装

apt-get install ffmpeg

合并命令 ffmpeg -i “concat:1.ts|2.ts|3.ts” -c copy output.mp4

# 切换到文件目录
os.chdir("下载的ts片段目录")
ts_list = glob.glob('*.ts')
# ts_list 排序
ts_list = sorted(ts_list, key=lambda i: int(re.search('(d+).ts', i).group(1)))
# 合并命令
merge_ts_list = "|".join(ts_list)
merge_command = f'ffmpeg -i "concat:{merge_ts_list}" -c copy output.mp4'
os.system(merge_command)

**注意:**合并的顺序一定不能乱，不然视频也是乱序的

没有学会吗？点击这里