Spark SQL探索分析法律服务网站数据-课程设计

安装路径：/usr/cstor/mysql
账号：root
密码：root

配置文件：
/usr/cstor/hive/bin
1.vi hive-config.sh

2.cd /usr/cstor/hive/conf

/usr/cstor/hive/conf
3.vi hive-env.sh

HADOOP_HOME=/usr/cstor/hadoop
#配置后请执行
source hive-env.sh

#并记得配置环境变量
4.vim /etc/profile
#末尾加上
export HIVE_HOME=/usr/cstor/hive
export PATH= P A T H : PATH: PATH:HIVE_HOME/bin

#修改日志等级
[201805110159 root@master conf]# cd /usr/cstor/spark/conf
[201805110159 root@master conf]# cp log4j.properties.template log4j.properties
[201805110159 root@master conf]# vim log4j.properties

MySQL连接工具需要放到/spark/lib以及/hive/lib中
将/hive/conf/hive-site.xml复制到/spark/conf/下
cp /usr/cstor/hive/conf/hive-site.xml /usr/cstor/spark/conf/

停止spark
/usr/cstor/spark/sbin
./stop-all.sh

传输数据到集群另两台slave1和slave2机器上，完成spark的配置
scp -r /usr/cstor/spark/ root@slave1:/usr/cstor/
scp -r /usr/cstor/spark/ root@slave2:/usr/cstor/

启动spark
/usr/cstor/spark/sbin
./start-all.sh

将law_utf8.csv

修改数据库的密码

101咨询相关的网页
102律师相关的网页
103
107知识相关的网页
301法规相关的网页
199其他类型的网页

1.1背景介绍

1.2设计思想

1.3设计目的

2.1网页类型分析

2.2点击次数分析

3.1 程序功能流程图

通过本次课程设计，使我更加扎实的掌握了有关Spark方面的知识，在设计过程中虽然遇到了一些问题，但经过一次又一次的思考，一遍又一遍的检查终于找出了原因所在，也暴露出了前期我在这方面的知识欠缺和经验不足。实践出真知，通过亲自动手去做，使我们掌握的知识不再是纸上谈兵。
主要学到了Spark 四大组件之一Spark SQL首先。。。。。。。，接着详细了解。。。。。。最后。。。。。。。。。
学习Spark SQL。。。。。
首先。。。。。
其次。。。。。
本次课程设计就是在Scala中写Hive语句访问Hive数据，对Spark SQL探索分析法律服务网站数据进行分析，通过本次课程我能够熟练度的应用Scala语言进行数据的查询，同时加深了我对spark SQL的理论知识的理解学习。这次课程设计让我学到了很多，不仅是巩固了先前学的spark的理论知识，而且也培养了我的程序代码分析的能力，更令我的创造性思维得到拓展，在大学的最后一次课程设计的课堂上我学到的不仅仅是课本上的知识，更多的是获取知识的方法。

参考文献

[7]张良均，樊哲，位文超，刘名军．Hadoop与大数据挖掘[M]．北京：机械工业出版社．2015