栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

项目实现:电商网站日志采集系统(五:保存分析结果)

项目实现:电商网站日志采集系统(五:保存分析结果)

(1)使用管理员账户和密码登录MySQL,使用以下命令:

mysql -u debian-sys-maint -p

(2)创建web_log数据库,使用以下命令:

CREATE DATAbase IF NOT EXISTS web_log;

(3)创建web_log用户,设置密码为123456,使用以下命令:

CREATE USER ‘web_log'@'%' IDENTIFIED BY ‘123456’;
FLUSH PRIVILEGES;

(4)授予web_log用户操作web_log数据库的权限,使用以下命令:

GRANT ALL PRIVILEGES ON web_log.* TO ‘web_log’@’%’;

(5)exit退出,使用web_log用户登录数据库
(6)创建shop_count_rank表,使用以下命令:

CREATE TABLE shop_count_rank (
     shop varchar(10) NOT NULL,
     count int,
     rank int,
     day char(10) NOT NULL,
     hour char(2) NOT NULL,
     PRIMARY KEY(shop,count,rank,day,hour)
     );

增量导入出hive数据到MySQL,使用以下命令:

sqoop export --connect jdbc:mysql://localhost:3306/web_log --username web_log --password 123456 --table shop_count_rank --export-dir /user/hive/warehouse/web_log.db/ads_web_log --input-fields-terminated-by "01" --update-key shop,count,rank,day,hour --update-mode allowinsert --m 1

(7)编辑web_log_export.sh脚本中,使用以下命令:

vim web_log_export.sh

写入以下内容:

#!/bin/bash
sqoop export --connect jdbc:mysql://localhost:3306/web_log --username web_log --password 123456 --table shop_count_rank --export-dir /user/hive/warehouse/web_log.db/ads_web_log --input-fields-terminated-by "01"  --m 1
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/670940.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号