栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

py分布式爬虫框架

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

py分布式爬虫框架

Scrapy是爬虫框架,而beautifulsoup是第三方库,不一样。

1.安装scrapy: pip install scrapy

2.新建项目:scrapy startproject stock_spider 在当前目录下新建名为stock_spider的项目工程文件夹

3.用命令cd进入stock_spider项目工程文件夹,再用命令scrapy genspider tonghuashun(自己名字) http://stockpage.10jqka.com.cn/600004/company/#detail(网址) 生成爬虫程序文件,把网址多余的修改去掉。

4.可以在命令窗直接调试爬虫,用命令:scrapy shell http://basic.10jqka.com.cn/600004/company.html(爬虫的网址) 进入调试爬虫。

————————————————
版权声明:本文为CSDN博主「虾稿」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/tyler880/article/details/107580213

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/326941.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号