比赛test_数据挖掘与分析

比赛test

1、基础环境 1.1、动态删除节点 1.2、定时任务

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3lgPpoLn-1632748812717)(E:周钰航笔记大数据大数据比赛img定时任务.png)]

1.3、增加和删除节点添加节点

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lmvhE457-1632748812720)(E:周钰航笔记比赛img添加节点.png)]

并修改salve文件添加slave3

直接重启Hadoop

临时删除节点

hadoop-daemon.sh stop datanode
hadoop-daemon.sh stop tasktracker

不临时删除

1.在master中配置hdfs-site.xml



dfs.hosts.exclude

/usr/hadoop/hadoop-2.7.7/etc/hadoop/excludes

2.将需删除的节点机器名添加到文件中

vim /usr/hadoop/hadoop-2.7.7/etc/hadoop/excludes
#添加slave2
slave2

3.主节点刷新

hadoop dfsadmin  -refreshNodes
查看存活节点
hadoop dfsadmin  -report

4.slave2上关闭进程

yarn-daemon.sh stop nodemanager

hadoop-daemon.sh stop datanode

#数据块均衡
start-balancer.sh

5.删除主机名

从NameNode的excludes文件及slaves文件、hosts文件中去掉已经移除的主机名

在所有DataNode上执行hadoop-pull.sh脚本，同步配置。

2、数据采集

Shopxo商城

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yNMvj7NS-1632748812723)(C:Users周Desktop屏幕截图 2021-07-26 191516.png)]

元素路径

简单版

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8ijCh8tf-1632748812727)(C:Users周Desktop屏幕截图 2021-07-26 192330.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-az7WVLce-1632748812732)(E:周钰航笔记比赛imgetree.png)]

7)]

[外链图片转存中…(img-CiR2SXKh-1632748812731)]

[外链图片转存中…(img-az7WVLce-1632748812732)]

比赛test