Python简单爬虫

XPath是专门针对xml设计的，在复杂结构化数据中查找信息的语言。简单来说，就是利用一条路径表达式，找到我们需要的数据位置。
html可以看做不标准的xml，在html中也能使用XPath查找数据。

xpath可以用来在XML文档中对元素和属性进行遍历。
在 xpath 中，所有事物都是节点。共有七种类型的节点：

• 元素节点 ： 元素是由从开始标签到结束标签的所有代码
• 属性节点 ： 每一个元素节点有一个相关联的属性节点集合
• 文本节点 ： 文本节点包含了一组字符数据，即cdata中包含的字符
• 命名空间节点 ： 每一个元素节点都有一个相关的命名空间节点集
• 处理指令节点 ： 处理指令节点对应于XML文档中的每一条处理指令
• 注释节点 ： 注释节点对应于文档中的注释
• 文档（根）节点 ： 根节点是节点树的最上层，根节点是唯一的
  ★ XPath可以用来选择这7种节点，但今天只涉及最常用的元素节点。因此，可以将下文中的节点和元素视为同义词。

节点关系

• 父（Parent） 每个元素以及属性都有一个父
• 子（Children） 元素节点可有零个、一个或多个子
• 兄弟（Sibling） 拥有相同的父的节点
• 先辈（Ancestor） 某节点的父、父的父，等等
• 后代（Descendant） 某个节点的子，子的子，等等

1）选取节点常用的路径表达式

• / 从根节点选取
• // 从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置
• . 选取当前节点
• @选取属性

2）谓语
为路径表达式的附加条件，对节点进行进一步的筛选，被镶嵌在[ ]中
常用的Xpath函数

• text()： 文本定位位置，精确匹配 – text()=’’
• contains()： 判断字符串的一部分，模糊匹配 – contains(text(),’’) contains(@class,’’)
• starts/ends-with： 匹配一个字符串开始/结束位置的关键字 – starts/ends-with(@class,’’)
• position()： 表示节点的序号 – position()=1 position()>2
• last() ： 最后一个节点 – last（）
• and/or ： and 与 ； or 或 – a[@class and @href] a[@class or @href]
• not() ： 表示否定 – a[not(@class)]
  3）通配符
• 匹配任何元素节点@*的任何属性
• //* 选择文档中的所有元素节点
• //ul/* 选择ul元素的所有子节点
• //a[@*] 选择所有带有属性的a节点
  4）运算符
• | 可以选取多个并列的路径
• 例如：//a[@tppabs]|//a[@class] 选择所有具有tppabs属性的a标签或具有class属性的a标签

    
        
        J K. Rowling 
        2005
        29.99
    



 # 文档节点

  # 元素节点，属于的子节点

   
lang    # 属性节点，是