#这个爬虫的作用就是你先在网页上面搜索一个东西，然后你把上面的网址给复制一下，然后他把这个网址里面所有的子链接标题和链接同时给你爬取出来，在整理我专门用了一个多线程，但是1又用了一个time模块，就是为了防止新手被封号了，至于这个怎么解除，我想不用多说了，目的就是为了避免小白就是好奇非要用，这个只是助你早日拜托小白，并且给你一个思路
from bs4 import BeautifulSoup
import requests,time
from urllib.request import urlopen
from threading import Thread
#每次就只用把你的网址复制在下面就可以了，更加强大的爬虫我的文章里面你可以找找看
url='https://www.so.com/s?ie=utf-8&src=https://www.mshxw.com/skin/sinaskin/image/nopic.gif'
html=requests.get(url)
html.encoding='utf-8'
sp=BeautifulSoup(html.text,"html.parser")
links=sp.find_all(["a","b"])
k=[]
for i in links:
href=i.get("href")
if href !=None and href.startswith("https://"):
k.append(href)
for i in k:
time.sleep(1)
def lianjie():
html = urlopen(str(i))
bs = BeautifulSoup(html, 'html.parser') # 解析网页
hyperlink = bs.find_all('title')
if hyperlink != []:
# print(hyperlink)
print(hyperlink[0].text, ":", i)
t = Thread(target=lianjie(), args=(i,))
t.start()
