一、文件上传到hdfs
开启Hadoop
#开启Hadoop cd /usr/local/hadoop ./sbin/start-dfs.sh #开启hive cd /usr/local/hive ./bin/hive #开启mysql service mysql start mysql -uroot -p
设置Java环境
#报错JAVA_HOME is not set and java could not be found in PATH sudo vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh #在第一行加入export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
创建目录1
./bin/hdfs dfs -mkdir -p /user/hadoop#创建目录/user/hadoop ./bin/hdfs dfs -mkdir mulu1#以上目录下创建mulu1
上传文件
#上传文件到mulu1下 ./bin/hdfs dfs -put /home/hadoop/small.csv mulu1
二、下载sqoop
http://dblab.xmu.edu.cn/blog/install-sqoop1/
三、文件上传到hive
# 可以在Linux的任何目录下执行该命令 service mysql start #启动Hive cd /usr/local ls sudo mkdir bigdatacase //这里会提示你输入当前用户（本教程是hadoop用户名）的密码 //下面给hadoop用户赋予针对bigdatacase目录的各种操作权限 sudo chown -R hadoop:hadoop ./bigdatacase cd bigdatacase //下面创建一个dataset目录，用于保存数据集 mkdir dataset //下面就可以解压缩user.zip文件 cd ~ //表示进入hadoop用户的目录 cd 下载 ls unzip user.zip -d /usr/local/bigdatacase/dataset cd /usr/local/bigdatacase/dataset ls
数据预处理
连接mysql
```python from mysql import connector conn = connector.connect(host='192.168.43.152',user='root',password='123456',database='msy',port=3306,charset='utf8',buffered=True) sqlcursor=conn.cursor() sql='''SELECt * FROM bigdata1 LIMIT 5''' sqlcursor.execute(sql) a=sqlcursor.fetchall() print(a)
