某天小仙女翻她微博发照片给我看，我打开她的微博，我的天，2000多条。刚好最近在做NLP相关的工作，需要爬各种数据，于是萌生了把小仙女微博爬下来看看的想法。（坑比微博不开放接口是很菜了）
知乎@路人甲大神每隔一段时间就爬爬豆瓣/知乎等等网站，做了很多有意思的分析，看的难免心痒痒，所以一直想深入爬虫，做做数据分析。本着学习 python， 爬取了小仙女2000+条微博，主要想看看仙女微博最常发的是什么，仙女的日常又是什么。
思路web端微博通过js渲染和ajax接口读取内容，爬取工作量太大。所以换了一下思路，用chrome爬取微博手机版，极大程度上避免了微博的反爬。
大幂幂微博
1、用chrome获取你的cookie和小仙女uidchrome 进入微博手机版，F12打开开发者工具，点击Network - Preserve log，使用小号登录微博手机版。（注意一定使用小号！）
m.weibo.cn->Headers->cookie 复制下自己的cookie，等会儿需要使用，也就是登录信息。
F12打开开发者工具，ctrl+F查找uid就ok了。
cookie
大幂幂uid
2、爬取文字和图片具体爬取过程有兴趣的可以去文末附带的GitHub项目链接看看啦。
需要使用的话，请注册一个小号登录，大规模爬取的话请注意ip更换。代码中有设置sleep时间，根据实际情况自行调整就好啦。
爬取过程如下：
读取uid和cookie
抓取结果如下图所示：
微博文字
微博图片
1426张照片，我是服气的。。
视奸 小仙女数据接下来，就是一些数据清洗、处理、分析的工作。（此处省去1000万字）
直接看处理的结果吧嘻嘻！
关键词词云图
关键词词频
“一个”、“自己”、“真的” 占据了首位。哇，自己一个人开心？我是不信的，自己一个人只会哭哭吧。
“可爱”、“哈哈哈”、“开心” ，这波可以的，仙女形象呼之欲出了。
"守望" “游戏” “英雄” ，嗯哼 这是个电竞网瘾少女了。
现在到造句环节了，我先来一个仙女的freestyle：“觉得自己真的很可爱了哈哈哈开心”。
微博分类微博分类
果然还是以 美食 为主的， 毕竟是没事雍和会，日常安野牧场的小公主。
购物 / 娱乐 / 美妆 都不少，好了很符合小仙女的日常了。可是真的没有互联网类吗，难怪今年要拿不到奖学金了。
快递送餐类是十分可爱了哈哈哈。一个人带4份猪食回宿舍喂猪的美少女。。。
常用表情微博表情
为了让大家更清晰看出每个表情，用微博直接显示出来文字和表情的对应。
哭哭占了最多是什么鬼，还有神秘的微笑和神秘的拜拜。
真是有故事的女同学嘻嘻。
常用人名仙女使用的名字
好吧，这个词语识别和人名识别是很不完善啦。有空再改进。
后续完善基于深度学习图片的人脸识别。
国际惯例，附上源码：[GitHub CayleyMongo] , 欢迎star！
作者：Cayley
链接：https://www.jianshu.com/p/e6bca8407204
