1.课程设计 1.1.设计目的:
通过项目设计,全面掌握数据采集和预处理的原理和应用范围,掌握数据采集的过程,完成数据清洗,存储和展示,熟悉运用数据采集和预处理的相关工具
1.2.开发背景:现实情况的背景下,人们意识到如何有效地解决海量数据的利用问题具有研究价值和经济利益。但是面对如此海量的数据并且维度高、数据结构复杂,如何能够有效的从中挖掘出数据价值并进行分析是人们需要面对的问题
2.总体设计 2.1.系统描述:利用Jupyter工具通过python爬虫技术获取网站数万条北京租房数据,分析真实的房租状况,数据获取爬好的数据存放.csv文件中并通过数据清洗预览、数据分析可视化来探究
2.2.本实验使用的python第三方库名称 版本 简介
Statsmodels 0.12.0 统计模型
Numpy 1.15.1 线性代数
Pandas 0.24.2 数据分析
Requests 2.20.0 爬虫网络请求
Seaborn 0.9.0 数据可视化
Matplotlib 3.0.3 数据可视化
Bs4 0.0.1 HTML解析
2.3.功能概述(1)通过安装并引用第三方库,获取网页信息
(2)对文件数据进行简单的数据清洗与保存
(3)读取爬出的信息并对数据进行数字化和可视化
3.基本运行流程图 4.代码实现 4.1.数据采集部分
可以看出租房数据有43372条,一共10个维度。价格平均水平是11370,中位数为8200,所有价格的区间在2500-105000
4.2.数据分析部分



