强势围观知乎福利话题

爱写bug（ID：iCodeBugs）

围观几个知乎话题：

女生身材好是什么体验？：https://www.zhihu.com/question/328457531

拥有一双大长腿是怎样的体验？:https://www.zhihu.com/question/297715922

有个身材火辣的女朋友是怎样一种体验？:https://www.zhihu.com/question/313825759

点开一个问题看一下答主的回答：

可是这每个话题下都有上千条回答，这得看到啥时候，不停的刷新也得很久。。。于是就写了这段代码把这些图片都下载了，考虑到一些数据可能用到，就顺道一起存到数据库了。包括图片地址、答主主页地址、答主昵称、答主、个性签名、答主粉丝、相关问题地址、赞同数等等等。看成果图：

尊重答主的分享，所以 以每一位答主昵称来命名其图片的父目录文件夹。但是最后浏览图片一个一个文件夹太麻烦了，所以我统一整理了一下一共 三个话题下2325张图片放在一个文件夹里，想直接观摩一下的同学公众号后台回复：知乎，压缩包合集发给你（一个月内有效），下面是讲获取的方法，只对图片感兴趣的不用看了，去回复吧。

点开一个话题，进入开发者工具，刷新页面，在xhr栏目下，会发现很多请求，左上角过滤一下，只有以 answers? 开头的才是回答内容，分析一下请求头：

知乎的请求结构出奇的简单，很意外。关键信息已在图片标明。基础URL是：https://www.zhihu.com/api/v4/questions/313825759/answers?include=　后面全都是根据 Query String Parameters 构造出来的。

然后我们看一下答主的回答内容：

这里回答内容有可能是引用其他话题 拥有一双大长腿是怎样的体验？ 的图片，也就是说，我们只要再把这个引用的话题地址获取下来，再根据新获取的地址构造请求URL， 得到该话题的请求地址，这样就可以顺着一条回答把所有引用的相似问题其他答主的图片全部下载下来。。。

点击引用的其他话题，切换知乎话题 拥有一双大长腿是怎样的体验？ ，我们再看一下回答内容：

同样看一下该话题的 Query String Parameters 只有 limit 、offset两个属性会变，而limit 为限制当页显示的回答数量，offset 为偏移量，就是本页从第几条回答开始显示，其他属性全是相同的（知乎页面限制显示回答数最大20）。这意味着不管知乎哪个问题都可由该问题的地址以相同的方法构造请求URL：

param = {
 'include': '',#太长了，不展示了
 'limit': '20',  # 限制当页显示的回答数，知乎最大20
 'offset': offset,  # 偏移量
 'platform': 'desktop',
 'sort_by': 'default',
    }
base_URL = 'https://www.zhihu.com/api/v4/questions/297715922/answers?include='  # 基础 url 用来构造请求url
    url = base_URL + urllib.parse.urlencode(param)  # 构造请求地址

    for answer in json['data']:
 answer_info = {}
 # 获取作者信息
 author_info = answer['author']
 author = {}
 author['follower_count'] = author_info['follower_count']  # 作者被关注数量
 author['headline'] = author_info['headline']  # 个性签名
 author['name'] = author_info['name']  # 昵称
 author['index_url'] = author_info['url']  # 主页地址
 # 获取回答信息
 voteup_count = answer['voteup_count']  # 赞同数
 comment_count = answer['comment_count']  # 评论数
 # 解析回答内容
 content = pq(answer['content'])  # content 内容为 xml 格式的网页，用pyquery解析
 imgs_url = []
 imgs = content('figure noscript img').items()
 for img_url in imgs:
     imgs_url.append(img_url.attr('src'))  # 获取每个图片地址
 # 获取回答内容引用的其他相似问题
 question_info = content('a').items()
 ......太多不全部展示了，有兴趣可以看一下文末完整源代码

def save_to_img(imgs_url, author_name, base_path):
    path = base_path + author_name
    if not os.path.exists(path):  # 判断路径文件夹是否已存在
 os.mkdir(path)
 for url in imgs_url:
     try:
  response = requests.get(url)
  if response.status_code == 200:
      img_path = '{0}/{1}.{2}'.format(path,
   md5(response.content).hexdigest(), 'jpg')  # 以图片的md5字符串命名防止重复图片
      if not os.path.exists(img_path):
   with open(img_path, 'wb') as jpg:
jpg.write(response.content)
      else:
   print('图片已存在，跳过该图片')
     except requests.ConnectionError:
  print('图片链接失效，下载失败，跳过该图片')
 print('已保存答主：' + author_name + ' 回答内容的所有图片')

#存储在mongoDB
client = MongoClient(host='localhost')
print(client)
db = client['zhihu']
collection = db['zhihu']
def save_to_mongodb(answer_info):
    if collection.insert(answer_info):
 print('已存储一条回答到MongoDB')