hadoop配置教程1:hadoop3.2.1完全分布式集群安装_zzqit的博客-CSDN博客_hadoop3集群安装
hadoop配置教程2:hadoop-3.3.3完全分布式集群搭建_bloom__❀;的博客-CSDN博客_hadoop3集群搭建
Hbase单机版:HBase单机版配置_然晓清的博客-CSDN博客_hbase单机模式配置
Java环境简单配置:Java环境简单配置+IDEA(小白版)_阙建明的博客-CSDN博客_idea配置java环境
Windows下IntelliJ IDEA远程连接服务器中Hadoop运行WordCount(详细版):
Windows下IntelliJ IDEA远程连接服务器中Hadoop运行WordCount(详细版)_NBA首席形象大使阿坤的博客-CSDN博客
配置IDEA过程中在博客基础上还需要做的工作:
1.从linux拷贝下来的core-site.xml master改为master的ip(ifconfig查看inet,192开头)
2. 修改pom.xml文件,在依赖中添加(或着直接参考项目代码):
slf4j-simple
3.下载winutils(对应winhadoop压缩包) 配置系统环境变量HADOOP_HOME 指向bin目录(设置HADOOP_HOME和Path中的%HADOOP_HOME%)
链接:https://pan.baidu.com/s/1frJNd6U3LIIwO-dpMQb5Fg
提取码:irjc
4. 将bin目录下的hadoop.dll复制到C:WindowsSystem32下 或者更改代码中的hadoop.dll路径通过代码加载环境变量,两种方法选其一即可
5.双击bin目录下的winutils.exe,如果报缺失msvcr100.dll,下载msvc100压缩包,将msvcp100.dll和msvcr100.dll复制到C:WindowsSystem32下
链接:https://pan.baidu.com/s/1mqWvZVhIxVVWWIpSCNQszQ
提取码:17iy
6.设置输入输出
上传要统计的数据文件到hdfs
hdfs dfs -put ./data.txt【input路径】
代码运行完成后,查看词频统计结果
hdfs dfs -ls 【output路径】
hdfs dfs -cat 【output路径/part-r-00000】
注意output路径在代码运行前不要建立,否则会报错
删除文件夹:hdfs dfs -rm -r 【文件夹名称】
hadoop读csv:实验八 项目案例-电商数据分析https://bcxiaobai.eu.org/post/4875.html
最全hadoop:https://blog.51cto.com/u_15298458/3033234
最全hadoop:史上hadoop最强案例集合(官方案例都有)_qq60e7f9ba87f55的技术博客_51CTO博客



