try:
#定义请求头
headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36'}
#定义请求，传入请求头
req=request.Request(url,headers=headers)
#打开网页
resp=request.urlopen(req)
#打印响应,解码
content=resp.read().decode('utf-8')
print(content)
#正则表达式
# pattern=re.compile(r'(.*?)')
pattern=re.compile(r'
#匹配html
items=re.findall(pattern,content)
#打印解析的内容
for i in items:
# print('标题：'+i[0]+' '+'内容'+i[1])
print(i)
except request.URLError as e:
#打印响应码
if hasattr(e,'code'):
print(e.code)
#打印异常原因
if hasattr(e,'reason'):
print(e.reason)
scrapy的使用
1.创建项目打开一个终端输入（建议放到合适的路径下，默认是C盘）scrapystartprojectTXmoviescdTXmoviesscrapygenspidertxmsv.qq.com
2.修改setting修改三项内容，第一个是不遵循机器人协议，第二个是下载间隙，由于下面的程序要下载多个页面，所以需要给一个间隙（不给也可以，只是很容易被侦测到），第三个是请求头，添加一个User-Agent，第四个是打开一个管道ROBOTSTXT_OBEY=False
DOWNLOAD_DELAY=1DEFAULT_REQUEST_HEADERS={'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8','Accept-Language':'en','User-Agent':'Mozilla/5.0(WindowsNT6.2;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/27.0.1453.94Safari/537.36'}ITEM_PIPELINES={'TXmovies.pipelines.TxmoviesPipeline':300,}
3.确认要提取的数据，item项item定义你要提取的内容（定义数据结构），Field方法实际上的做法是创建一个字典，给字典添加一个建，暂时不赋值，等待提取数据后再赋值。下面item的结构可以表示为：{'name':'','descripition':''}。#-*-coding:utf-8-*-#Defineherethemodelsforyourscrapeditems##Seedocumentationin:#https://docs.scrapy.org/en/latest/topics/items.htmlimportscrapyclassTxmoviesItem(scrapy.Item):#definethefieldsforyouritemherelike:#name=scrapy.Field()name=scrapy.Field()description=scrapy.Field()
4.写爬虫程序
5.交给管道输出管道可以处理提取的数据，如存数据库。我们这里仅输出。#-*-coding:utf-8-*-#Defineyouritempipelineshere##Don'tforgettoaddyourpipelinetotheITEM_PIPELINESsetting#See:https://docs.scrapy.org/en/latest/topics/item-pipeline.html
classTxmoviesPipeline(object):defprocess_item(self,item,spider):print(item)returnitem6.run，执行项目fromscrapyimportcmdlinecmdline.execute('scrapycrawltxms'.split())
7.测试结果
8.流程梳理
9.提速：多线程爬取
