scrapy startproject BaiduStocks cd BaiduStocks scrapy genspider stocks baidu.com进一步修改spiders/目录下的stocks.py文件
- 配置stocks.py文件
- 修改对返回页面的处理
- 修改对新增URL爬取请求的处理
源代码：
import scrapy
import re
class StocksSpider(scrapy.Spider):
name = "stocks"
start_urls = ['https://quote.eastmoney.com/stocklist.html']
def parse(self, response):
for href in response.css('a::attr(href)').extract():
try:
stock = re.findall(r"[s][hz]d{6}", href)[0]
#匹配sh或sz的六位股票代码
url = 'https://gupiao.baidu.com/stock/' + stock + '.html'
yield scrapy.Request(url, callback=self.parse_stock)
#将上述构造的url作为新的请求重新提交给scrapy框架
#用yield关键词将parse函数变成一个生成器
#callback给出了处理这个url对应响应的处理函数，为了与当前的页面处理函数parse进行区别，新定义的处理函数命名为parse_stock
except:
continue
def parse_stock(self, response): #把最后提取的信息返回给item pipeline，是一个字典类型
infoDict = {} #用于存储要返回给item pipeline的信息，定义一个字典类型的空字典
stockInfo = response.css('.stock-bets')
name = stockInfo.css('.bets-name').extract()[0]
keyList = stockInfo.css('dt').extract()
valueList = stockInfo.css('dd').extract()
for i in range(len(keyList)):
key = re.findall(r'>.*', keyList[i])[0][1:-5]
try:
val = re.findall(r'd+.?.*', valueList[i])[0][0:-5]
except:
val = '--'
infoDict[key]=val
infoDict.update(
{'股票名称': re.findall('s.*(',name)[0].split()[0] +
re.findall('>.*<', name)[0][1:-1]})
yield infoDict
#用yield关键词将parse_stock函数变成一个生成器
#将股票信息给到后续处理的item pipeline模块
编写Pipelines
- 配置pipelines.py
- 定义对爬取项（Scraped Item）的处理类
源代码：
# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html
class BaidustocksPipeline(object):
def process_item(self, item, spider):
return item
#新定义一个类：通过配置文件让框架找到新定义的这个类并且用这个类来处理spider提出的提取相关item类的信息
class BaidustocksInfoPipeline(object):
def open_spider(self, spider): #当一个爬虫被调用时对应的pipeline启动的方法
self.f = open('BaiduStockInfo.txt', 'w')
def close_spider(self, spider): #当一个爬虫关闭或结束时pipeline对应的方法
self.f.close()
def process_item(self, item, spider): #对每一个item项进行处理时对应的方法，pipeline中最主体的函数
try:
#将获得的股票字典信息写入一个文件
line = str(dict(item)) + 'n'
self.f.write(line)
except:
pass
return item
#希望其他函数也可以处理这个item，因此返回这个item
修改配置文件的选项ITEM_PIPELINES
- 将新定义的类写入其中的参数对应行中
- 让框架找到新定义的类
settings.py
修改的区域：
# Configure item pipelines
# See https://scrapy.readthedocs.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
'BaiduStocks.pipelines.BaidustocksInfoPipeline': 300,
}
实例优化：进一步提高爬取速度
settings.py配置并发连接选项：
- CONCURRENT_REQUESTS Downloader最大并发请求下载数量，默认32
- CONCURRENT_ITEMS Item Pipeline最大并发ITEM处理数量，默认100
- CONCURRENT_REQUESTS_PER_DOMAIN 每个目标域名最大的并发请求数量，默认8
- CONCURRENT_REQUESTS_PER_IP 每个目标IP最大的并发请求数量，默认0，非0有效
修改这些参数所对应的默认值，通过改变并发数量来提高或降低爬取速度
