Python爬虫入门基本代码
# coding:utf-8 设置编码格式
import requests #引入requests
from bs4 import BeautifulSoup
import re #引入正则
import lxml
url = 'https://www.baidu.com//' #请求url
html=requests.get(url)
html.encoding = "utf-8" #修改文件编码格式 解决乱码问题
content=html.text #保存请求到的网页源码
soup = BeautifulSoup(content,'lxml') #将网页源码构造成BeautifulSoup对象，方便操作
a_list=soup.find_all('a') #获取网页中的所有a标签对象
text='' # 创建一个空字符串
for a in a_list:
href=a.get('href') #获取a标签对象的href属性，即这个对象指向的链接地址
text+=href+'n' #加入到字符串中，并换行
with open('url.txt','w') as f: #在当前路径下，以写的方式打开一个名为'url.txt'，如果不存在则创建
f.write(text) #将text里的数据写入到文本中
