这里用了4个引入
from lxml import etree
import time
import random
import requests
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.87 Safari/537.36 SE 2.X metaSr 1.0'
}
# 处理空白字符
def processing(strs):
s = ''
for n in strs:
n = ''.join(n.split())
s = s + n
return s
# 获取电影信息
def getmovie_info(url):
texts = ''
res = requests.get(url, headers=headers)
html = etree.HTML(res.text)
div_info = html.xpath('//div[@]')
for div in div_info:
names = div.xpath('./div[@]/a//span/text()')
name = processing(names)
infos = div.xpath('./div[@]/p/text()')[0]
info = processing(infos)
score = div.xpath('./div[@]/div[@]/span[2]/text()')[0]
piple = div.xpath('./div[@]/div[@]/span[4]/text()')[0]
abstract = div.xpath('./div[@]/p[@]/span/text()')
texts += f"电影名称：{name}n导演与演员：{info}n电影评分：{score}n评价人数：{piple}n简介：{abstract}n--------------------n"
file = open("top250.txt", 'a+', encoding='utf-8')
file.write(texts)
file.close()
if __name__ == "__main__":
for i in range(0, 250, 25):
url = f"https://movie.douban.com/top250?start={i}&filter="
getmovie_info(url)
time.sleep(random.randint(1, 3))
查看爬取结果
电影名称：肖申克的救赎/TheShawshankRedemption/月黑高飞(港)/刺激1995(台) 导演与演员：导演:弗兰克·德拉邦特FrankDarabont主演:蒂姆·罗宾斯TimRobbins/... 电影评分：9.7 评价人数：2478507人评价 简介：希望让人自由。 -------------------- 电影名称：肖申克的救赎/TheShawshankRedemption/月黑高飞(港)/刺激1995(台) 导演与演员：导演:弗兰克·德拉邦特FrankDarabont主演:蒂姆·罗宾斯TimRobbins/... 电影评分：9.7 评价人数：2478507人评价 简介：希望让人自由。 -------------------- 电影名称：霸王别姬/再见，我的妾/FarewellMyConcubine 导演与演员：导演:陈凯歌KaigeChen主演:张国荣LeslieCheung/张丰毅FengyiZha... 电影评分：9.6 评价人数：1842390人评价 简介：风华绝代。 -------------------- 电影名称：肖申克的救赎/TheShawshankRedemption/月黑高飞(港)/刺激1995(台) 导演与演员：导演:弗兰克·德拉邦特FrankDarabont主演:蒂姆·罗宾斯TimRobbins/... 电影评分：9.7 评价人数：2478507人评价 简介：希望让人自由。 -------------------- 电影名称：霸王别姬/再见，我的妾/FarewellMyConcubine 导演与演员：导演:陈凯歌KaigeChen主演:张国荣LeslieCheung/张丰毅FengyiZha... 电影评分：9.6 评价人数：1842390人评价 简介：风华绝代。 -------------------- 电影名称：阿甘正传/ForrestGump/福雷斯特·冈普 导演与演员：导演:罗伯特·泽米吉斯RobertZemeckis主演:汤姆·汉克斯TomHanks/... 电影评分：9.5 评价人数：1862523人评价 简介：一部美国近现代史。 -------------------- 电影名称：肖申克的救赎/TheShawshankRedemption/月黑高飞(港)/刺激1995(台) 导演与演员：导演:弗兰克·德拉邦特FrankDarabont主演:蒂姆·罗宾斯TimRobbins/... 电影评分：9.7 评价人数：2478507人评价 简介：希望让人自由。 -------------------- 电影名称：霸王别姬/再见，我的妾/FarewellMyConcubine 导演与演员：导演:陈凯歌KaigeChen主演:张国荣LeslieCheung/张丰毅FengyiZha... 电影评分：9.6 评价人数：1842390人评价 简介：风华绝代。 --------------------
