栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

python大数据-03.简单使用命令行请求发送数据爬取数据

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

python大数据-03.简单使用命令行请求发送数据爬取数据

1. 首先进入命令行 1.1 请求网页的内容信息
python3  回车
import requests 回车 
respones = requests.get("http://www.52download.cn/wpcourse/?p=9649") 回车
print(respones.text) 回车

1.2 请求图片(视频),并且下载
print(respones.headers)  回车 
print(respones.status_code)  回车
headers = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36'}   回车
respones = requests.get("http://www.52download.cn/wpcourse/wp-content/uploads/2018/03/coffee.png",headers=headers)   回车

with open('/Users/wangyang/Desktop/1.png','wb') as f:
...     f.write(respones.content)
...     f.close()


respones = requests.get("https://a.sinaimg.cn/mintra/pic/2112130543/weibo_login.mp4",headers=headers)
with open('/Users/wangyang/Desktop/1.mp4','wb') as f:
...     f.write(respones.content)
...     f.close()




2. 启动webdriver

from selenium  import webdriver 
driver  = webdriver.Chrome()
driver.get('http://m.weibo.com')
driver.get('http://baidu.com')
print(driver.page_source)
注意:如出现这样子的错误:那就要以下解决方法:

2.1. 点击看版本

2.2. 打开对应的网站:https://registry.npmmirror.com/binary.html?path=chromedriver/


点击下载,对应的zip包

下载完了之后, 解压, 放到/usr/local/bin/文件夹里面就可以了
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/738295.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号