答：BeautifulSoup是解析工具
基础爬虫遇到中文乱码问题使用encoding = utf-8
import requests
HTML=requests.get('http://m.xiaohuawo.com/ertong/204.html'.format(i),headers=headers)
HTML.encoding = 'utf-8'
request模块发送post请求的方法
1、实现方法
response = request.post(url, data) # data参数接收一个字典练习 金山翻译
1、首先需要通过抓包确定请求的url地址
2、确定全球的参数
3.确定数据返回的位置
4、模拟浏览器获取数据
定义初始化数据
self.url = 'http://ifanyi.iciba.com/index.php?c=trans&m=fy&client=6&auth_user=key_ciba&sign=a71b93ebcf2f3ff6'
self.headers = {
'User-Agebnt':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)'
' Chrome/101.0.4951.67 Safari/537.36'
}
# 请求数据参数
self.data = {
"from": "en",
"to": "zh",
"q": word
}
编写获取数据的方法
def get_data(self):
# 使用post方法发送一个post请求，data为请求头的字典
response = requests.post(self.url,
data=self.data,headers=self.headers)
return response.content
def parse_data(self, data):
# loads 方法将json字符串转化为python字典
dict_data = json.loads(data)
try:
print(dict_data['content']['out'])
except:
print(dict_data['content']['word_mean'][0])
运行爬虫方法
运行结果
