经常需要用爬虫爬爬百度图片,所以弄一篇博客记录一下。
需求:输入关键词,程序自动下载百度搜索出来的图片,并保存在本地。
假设代码保存为down_baidu.py
使用:
python down_baidu.py 篮球
这个篮球就是你要搜索的关键词。
最后看一下代码:
import os
import os.path as osp
import argparse
import re
import requests
def get_args():
parser = argparse.ArgumentParser('Arguments', add_help=True)
parser.add_argument('keyword', type=str, help='keyword to search')
parser.add_argument('-s', '--save_path', type=str, default='download_pics', help='path to save results')
return parser
def downloadPic(url, args):
html = requests.get(url).text
pic_url = re.findall('"objURL":"(.*?)",', html, re.S)
for i, each in enumerate(pic_url):
print('Downloading the %dth image.' % i)
print('Url: ', each)
try:
pic = requests.get(each, timeout=10)
except requests.exceptions.ConnectionError:
print('Connection Error.')
continue
save_name = osp.join(args.save_path, '%s_%03d.jpg' % (args.keyword, i))
with open(save_name, 'wb') as f:
f.write(pic.content)
def _main():
the_parser = get_args()
args = the_parser.parse_args()
url = 'http://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&word=%s&ct=201326592&v=flip' % args.keyword
print('keyword: %s' % args.keyword)
if not osp.exists(args.save_path):
os.system('mkdir -p %s' % args.save_path)
downloadPic(url, args)
if __name__ == '__main__':
_main()



