hive的配置流程

//*[@id="mainsrp-itemlist"]/div/div/div[1]/div[1]/div[2]/div[1]/div[1]/strong
//*[@id="mainsrp-itemlist"]/div/div/div[1]/div[2]/div[2]/div[1]/div[1]/strong
//*[@id="mainsrp-itemlist"]/div/div/div[1]/div[3]/div[2]/div[1]/div[1]/strong

//*[@id="mainsrp-itemlist"]/div/div/div[1]/div[48]/div[2]/div[1]/div[1]/strong
//*[@id="mainsrp-itemlist"]/div/div/div[1]/div[1]
//*[@id="mainsrp-itemlist"]/div/div/div[1]/div[2]

//*[@id="mainsrp-itemlist"]/div/div/div[1]/div 得到48数组

//*[@id="introduction"]/div/div/div[1]/div[2]/ul/li[1]/text()

4）mysql数据库增加hive用户，并授权

mysql> create user 'hive' identified by '123456';

mysql> CREATE DATAbase hive;

mysql> use hive;

mysql> GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'%' IDENTIFIED BY '123456';

mysql>GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'master' IDENTIFIED BY '123456'; //写为自己的集群的mysql所在节点

mysql>GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'localhost' IDENTIFIED BY '123456';

mysql> flush privileges;
mysql>exit

systemctl restart mysqld

6. tar包:

[ambow@hadoopNode1 hive-2.3.2]$ tar -zxvf apache-hive-2.3.2-bin.tar.gz -C ~/app/

7）配置环境变量

HIVE_HOME

PATH

HIVE_HOME=/home/ambow/app/hive-2.3.2

Hbase_HOME=/home/ambow/app/hbase-1.3.2

JAVA_HOME=/home/ambow/app/jdk1.8.0_121

HADOOP_HOME=/home/ambow/app/hadoop-2.7.3

PATH=$PATH:$HOME/.local/bin:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin:$Hbase_HOME/bin:$HIVE_HOME/bin

export PATH
export JAVA_HOME
export HADOOP_HOME
export Hbase_HOME
export HIVE_HOME

8)修改配置文件：hive-env.sh

（1）进入{HIVE_HOME/conf}目录下，复制hive-env.sh.template

$> cp hive-env.sh.template hive-env.sh

$> vi hive-env.sh

添加：【 export HADOOP_HOME=/home/ambow/app/hadoop 】

（2）进入{HIVE_HOME/conf}目录下，复制hive-default.xml.sh.template hive-site.xml

[ambow@hadoopNode1 conf]$ cp hive-default.xml.template hive-site.xml
[ambow@hadoopNode1 conf]$ vi hive-site.xml

Hive2.3.2:

       hive.exec.scratchdir
       /tmp/hive
       HDFS路径，用于存储不同 map/reduce 阶段的执行计划和这些阶段的中间输出结果会自动创建



       javax.jdo.option.ConnectionUserName
       hive
       连接HIVE元数据存放的mysql使用用户名



       javax.jdo.option.ConnectionPassword
       123456



       javax.jdo.option.ConnectionURL
       jdbc:mysql://hadoopNode1:3306/hive?createDatabaseIfNotExist=true



       javax.jdo.option.ConnectionDriverName
       com.mysql.jdbc.Driver



       hive.metastore.warehouse.dir
       /user/hive/warehouse
       Hive 默认的数据文件存储路径，通常为 HDFS 可写的路径自动创建



       datanucleus.readOnlyDatastore
       false


       datanucleus.fixedDatastore
       false


       datanucleus.autoCreateSchema
       true


       datanucleus.autoCreateTables
       true


       datanucleus.autoCreateColumns
       true



       hive.metastore.schema.verification
       false



       datanucleus.schema.autoCreateAll
       true
       creates necessary schema on a startup if one doesn't exist. set this to false, after creating it once






datanucleus.schema.autoCreateAll
true

9)将MySQL的连接驱动包拷贝至{HIVE_HOME/lib}下

[ambow@hadoopNode1 lib]$ cp mysql-connector-java-5.1.34.jar $HIVE_HOME/lib

10）启动hadoop集群

# zkServer.sh start 各节点

# hadoop-demon.sh start zkfc 两个NN

start-all.sh

11）启动hive客户端验证

$> hive

show databases;

hive> create table oldHouse

hive> use oldHouse

hive>

-- 如果ods_houses表已经存在，则先删除该表
DROP TABLE IF EXISTS ods_houses;

-- 创建数据库内部表:ods_houses,字段与csv文件的列对应
CREATE TABLE ods_houses(
url string,
city_name string,
district string,
community_name string,
)
-- 以csv文本文件格式化来读取
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
WITH SERDEPROPERTIES (
-- 指定csv文件中分隔符
"separatorChar" = ",",
-- 指定csv文件中引号符
"quoteChar" = """,
-- 指定csv文件中转义符
"escapeChar" = "\" )
-- 跳过CSV文件中表头第一行
tblproperties ( "skip.header.line.count" = "1" );

导入数据 Linux---->hive:
hive> load data local inpath '/home/hadoop/mydata/cd_houses.csv' into table temp_houses;

select * form xxx limit --> hive/mysql表

python,Echarts

hive的配置流程

其他相关栏目本月热门文章