【python】秀人集-写真集-爬虫-1.0

最近没有怎么关注图集谷网站，结果今天打开看看，结果官方直接关服了，只留下需要付费的图集岛网址[笑哭]

看到有人在我的文章下留言，这表示我的写作方向是有一定的受众的，这我就放心了。[吾心甚慰]

好的，长话短说。因为图集谷没了，我就找了一个新的网站给大家学习——秀人集。

秀人集网址：www.xiurenb.com

下面是相关的代码，供大家参考学习[坏笑]

# 导入库
import time, os, requests
from lxml import etree

# 定义请求头
headers = {
	'User-Agent':'Chrome 10.1'
	}

# 格式化列表
img_list = []
url_list = []

# 传入数据
Page_Num = input('Enter the Organization and Page_Num:')
# 以url = 'https://www.xiurenb.com/MyGirl/6149'为例，这里需要传入的数据就是'MyGirl/6149'

# 获取写真集每一页的网址并写入列表
url = 'https://www.xiurenb.com/' + str(Page_Num)
Num_res = requests.get(url=url + '.html', headers=headers)
Num_tree = etree.HTML(Num_res.text)
Num = len(Num_tree.xpath('/html/body/div[3]/div/div/div[4]/div/div/a'))
url_list.append(url)
for i in range(1, int(Num) - 2):
	url_other = url + '_' + str(i)
	url_list.append(url_other)

# 获取每张图片的url并写入列表
for url in url_list:
	res = requests.get(url=url + '.html',headers=headers)
	tree = etree.HTML(res.text)
	img_src = tree.xpath('/html/body/div[3]/div/div/div[5]/p/img/@src')
	for img in img_src:
		img_list.append(img)
	time.sleep(0.5)

# 创建保存图片的目录
res = requests.get(url=url_list[0] + '.html',headers=headers)
res.encoding = 'utf-8'
tree = etree.HTML(res.text)
path_name = tree.xpath('/html/body/div[3]/div/div/div[1]/h1//text()')[0][11:]
print(path_name)
the_path_name = 'C:/Users/liu/Pictures/' + path_name
if not os.path.exists(the_path_name):
	os.mkdir(the_path_name)

# 获取图片并保存到指定目录下
num = 0
for j in img_list:
	img_url = 'https://www.xiurenb.com' + j
	img_data = requests.get(url=img_url, headers=headers).content
	img_name = img_url.split('/')[-1]
	finish_num = str(num) + '/' + str(len(img_list))
	with open('C:/Users/liu/Pictures/' + path_name + '/' + img_name, 'wb') as f:
		print(f'Downloading the img:{img_name}     {finish_num}')
		f.write(img_data)
		f.close()
	num += 1
	time.sleep(0.5)

# 运行成功提示
print('Finished!')

这只是这个网站的初版代码，还有一些需要改进的地方。比如，需要自己观察url进行传入数据；一次只能获取单个写真集的全部图片...

在之后的时间，我会不定时地对其进行优化改进，大家可以关注一下。

大家的评论与点赞收藏是我写作的动力，希望大家多多支持。