大数据的关键技术（二）

七、数据清洗技术

 

（1） 数据仓库中的数据是面向某一主题的数据的集合，这些数据从多个业务系统中抽取而来且包含历史 数据，这样就避免不了有的数据是错误数据、有的数据相互之间有冲突，这些错误的或有冲突的数据显 然是我们不想要的，称为“脏数据”。 （ 2）我们要按照一定的规则把“脏数据”“洗掉”，这就是数据清洗。 （ 3）需要清洗数据的主要类型 : 残缺数据、错误数据、重复数据 。 （ 4）数据清洗的内容： 一致性检查、无效值和缺失值的处理 。 （ 5） 常用工具 ①、DataWrangler ②、Google Refine

---

八、网络爬虫技术——数据采集、处理和存储          网络爬虫是一种按照一定的规则、自动的抓取万维网信息的脚本或者程序，简单点就是爬虫是用事先写好的程序去抓取网络上的数据，这样的程序叫爬虫。是数据采集的一种手段。 （一）通用爬虫

 （二）聚焦网络爬虫

爬虫软件可以分为两类：

云爬虫（不需要安装软件） 采集器（下载安装）

常用工具：

①、神箭手云爬虫 ②、八爪鱼 ③、集搜客 GooSeeker ④、WebMagic ⑤、DenseSpider