最近python的学习有所停滞，就在昨天写了一个爬取猫眼电影TOP100的榜单，参考了网上一些大神的例子，现在就写下我自己学习的代码，供大家参考，网上大神大多数使用了正则表达式，再此我就不在使用正则表达式。
正文先附上猫眼TOP100榜单的首页网址：http://maoyan.com/board/4?offset=0
在这个网站中，总共是100条数据，每页10条。
#导入库依赖包#python版本是3.7import requestsfrom lxml import etree #解析网页数据import time #时间上稍作延迟，模拟人为收集数据class MaoYan(object):
'''下载猫眼电影TOP100榜'''
def __init__(self):
'''初始化'''
self.headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36 Edge/17.17134'} def getonePage(self,url):
'''获取网页源码'''
html = requests.get(url,headers=self.headers) return html
'''解析网页数据'''
def parseonePage(self, text):
html = etree.HTML(text) #电影名
names = html.xpath('//p[@class="name"]//text()') #主要演员
stars = html.xpath('//p[@class="star"]//text()') for item in range(len(names)): yield{ 'names':names[item], 'stars':stars[item].strip()
} @staticmethod
def write2File(content):
with open(r'G:猫眼.txt', 'a', encoding='utf-8') as f:
f.write(str(content) + 'n') #print(jsons.dumps(content, ensure_ascii=True))if __name__ == '__main__':
maoyan = MaoYan() for offSet in range(10):#循环爬取10页
time.sleep(1)#时间上停顿一秒
urls = 'http://maoyan.com/board/4?offset={}'.format(offSet * 10)
html = maoyan.getonePage(urls)
text = maoyan.parseonePage(html.text) for item in text:
maoyan.write2File(item)
print(item)网站的每一页的网址说明第一页是：http://maoyan.com/board/4?offset=0
第二页是：http://maoyan.com/board/4?offset=10
第三页是：http://maoyan.com/board/4?offset=20
规律就是offset后边的数字每次10。
需要注意的是在进行json字典转换的时候，很多人写的是
jsons.dumps()
转换,但是我写了这个，转换出来的不是正常的汉字字符，类似于u25a2 这样的字符，所以我在
f.write(str(content) + 'n')
直接用了str()转换。保存的文件是.txt。不知道上面的原因是啥，知道的小伙伴可以下方留言交流。
爬取效果猫眼01.png
总共是100条数据
后记这个代码是完整的代码，可以拿来练手，不规范的地方希望小伙伴指正。转载请注明出处，虽然我也是边学编写，尊重劳动成果。
作者：小白技术员
链接：https://www.jianshu.com/p/bb7b1afce7a3
