- Spark大作业
- 目的
- 要求
- 步骤
- 大作业报告及数据集
1、熟悉Linux系统、MySQL、Spark、Hbase、Hive、Sqoop、R、Eclipse、IntelliJ Idea等系统和软件的安装和使用；
2、了解大数据处理的基本流程；
3、熟悉数据预处理方法；
4、熟悉在不同类型数据库之间进行数据相互导入导出；
5、熟悉使用R语言进行可视化分析；
6、熟悉使用Eclipse或IntelliJ Idea编写Java程序操作Hbase数据库
1、对文本文件形式的原始数据集进行预处理
2、把文本文件的数据集导入到数据仓库Hive中
3、对数据仓库Hive中的数据进行查询分析
4、使用Sqoop将数据从Hive导入MySQL
5、使用Sqoop将数据从MySQL导入Hbase
6、使用Hbase Java API把数据从本地导入到Hbase中
7、使用R对MySQL中的数据进行可视化分析
步骤一:本地数据集上传到数据仓库Hive
步骤二：Hive数据分析
步骤三：Hive、MySQL、Hbase数据互导
步骤四：利用R进行数据可视化分析
spark大作业
