栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

scrapy-css2021-10-29

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

scrapy-css2021-10-29

3.4 CSS选择器

  CSS即层叠样式表,其选择器是一种用来确定HTML文档中某部分
位置的语言。
   CSS选择器的语法比XPath更简单一些,但功能不如XPath强大。
实际上,当我们调用Selector对象的CSS方法时,在其内部会使用Python库cssselect将CSS选择器表达式翻译成XPath表达式,然后调用Selector对象的XPATH方法。
    表3-2列出了CSS选择器的一些基本语法。

表3-2 CSS选择器
表 达 式描 述例 子
*选中所元素*
E选中E元素p
E1,E2选中E1和E2 元素div,pre
E1 E2选中E1后代元素中的E2元素div p
E1>E2选中E1子元素中的E2元素div>p
E1+E2选中E1兄弟元素中的E2元素p +strong
.CLASS选中CLASS属性包含CLASS的元素.info
#ID选中id属性为ID的元素#main
[ATTR]选中包含ATTR属性的元素[href]
[ATTR=VALUE]选中包含ATTR属性且值为VALUE的元素[method=post]
ATTR~=VALUE选中包含ATTR属性且值包含VALUE的元素[class~=clearfix]
E:nth-child(n)
E:nth-last-child(n)
选中E元素,且该元素必须是其父元素的***(倒数)第n个子元素***a:nth-child(1)
a:nth-last-child(2)
E:first-child(n)
E:last-child(n)
选中E元素,且该元素必须是其父元素的***(倒数)第一个子元素***a:first-child
a: last-child
E:empty选中没有子元素的E 元素div:empty
E::text选中E元素的文本节点(Text Node)p:: text

    和学习XPath一样,通过一些例子展示CSS选择器的使用。
    先创建一个HTML文档并构造一个HtmlResponse对象:

>>> from scrapy.selector import Selector
>>> from scrapy.http import HtmlResponse
>>> body ='''
 
     
        
        Example website
     
     
     
         Name: Image 0 
Name: Image 1
Name: Image 2
Name: Image 3
Name: Image 4
Name: Image 5
''' >>> response = HtmlResponse(url='http://www.example.com', body=body, encoding='utf-8') >>> response <200 http://www.example.com>

● E:选中E元素。

# 选中所有的img
>>> response.css('img')
>[,
 ,
 ,
 ,
 ,
 ]

● E1,E2:选中E1和E2元素。

# 选中所有base和title
>>> response.css('base,title')
>[,
 ]

● E1 E2:选中E1后代元素中的E2元素。

# div 后代中的img
>>> response.css('div img')
>[,
 ,
 ,
 ,
 ]

● E1>E2:选中E1子元素中的E2元素。

# body 子元素中的div
>>> response.css('body>div')
[]

● [ATTR]:选中包含ATTR属性的元素。

#选中包含style属性的元素
>>> response.css('[style]')
>[# 选中属性id值为images-1的元素
>>> response.css('[id=images-1]')
>[#选中每个div的第一个a
>>> response.css('div>a:nth-child(1)')
[,
 ]
# 选中第二个div的第一个a
>>> response.css('div:nth-child(2)>a:nth-child(1)')
>[]

● E:first-child:选中E元素,该元素必须是其父元素的第一个子元素。
● E:last-child:选中E元素,该元素必须是其父元素的倒数第一个子元素。

# 选中第一个div的最后一个a
>>> response.css('div:first-child>a:last-child')
>[]

● E::text:选中E元素的文本节点。

选中所有a的文本
>>> sel = response.css('a::text')
>>> sel
>[,
 ,
 ,
 ,
 ,
 ,
 ,
 ,
 ,
 ,
 ,
 ]
 >>> sel.extract()
 > ['Name: Image 0 ',
 ' ',
 'Name: Image 1 ',
 ' ',
 'Name: Image 2 ',
 ' ',
 'Name: Image 3 ',
 ' ',
 'Name: Image 4 ',
 ' ',
 'Name: Image 5 ',

关于CSS选择器的使用先介绍到这里,更多详细内容可以参看CSS选择器文档:https://www.w3.org/TR/css3-selectors/。

3.5 本章小结

本章学习了从页面中提取数据的相关内容,首先带大家了解了Scrapy中的Selector对象,然后学习如何使用Selector对象在页面中选中并提取数据,最后通过一系列例子讲解了XPath和CSS选择器的用法。

本文参照《精通Scrapy网络爬虫+(刘硕著)》PDF,并自己跑相关代码,代码内容稍作修改,来对css的使用方法进行笔记及方法解读,仅做参考和笔记复习使用

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/357445.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号