栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

大数据平台

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

大数据平台

hadoop配置教程1:hadoop3.2.1完全分布式集群安装_zzqit的博客-CSDN博客_hadoop3集群安装

hadoop配置教程2:hadoop-3.3.3完全分布式集群搭建_bloom__❀;的博客-CSDN博客_hadoop3集群搭建

Hbase单机版:HBase单机版配置_然晓清的博客-CSDN博客_hbase单机模式配置

Java环境简单配置:Java环境简单配置+IDEA(小白版)_阙建明的博客-CSDN博客_idea配置java环境

Windows下IntelliJ IDEA远程连接服务器中Hadoop运行WordCount(详细版):

Windows下IntelliJ IDEA远程连接服务器中Hadoop运行WordCount(详细版)_NBA首席形象大使阿坤的博客-CSDN博客

配置IDEA过程中在博客基础上还需要做的工作:

1.从linux拷贝下来的core-site.xml master改为master的ip(ifconfig查看inet,192开头)
2. 修改pom.xml文件,在依赖中添加(或着直接参考项目代码):

            org.slf4j
            slf4j-simple
            1.7.25

3.下载winutils(对应winhadoop压缩包) 配置系统环境变量HADOOP_HOME 指向bin目录(设置HADOOP_HOME和Path中的%HADOOP_HOME%)

链接:https://pan.baidu.com/s/1frJNd6U3LIIwO-dpMQb5Fg 
提取码:irjc
4. 将bin目录下的hadoop.dll复制到C:WindowsSystem32下 或者更改代码中的hadoop.dll路径通过代码加载环境变量,两种方法选其一即可
5.双击bin目录下的winutils.exe,如果报缺失msvcr100.dll,下载msvc100压缩包,将msvcp100.dll和msvcr100.dll复制到C:WindowsSystem32下

链接:https://pan.baidu.com/s/1mqWvZVhIxVVWWIpSCNQszQ 
提取码:17iy
6.设置输入输出

上传要统计的数据文件到hdfs
hdfs dfs -put ./data.txt【input路径】
代码运行完成后,查看词频统计结果
hdfs dfs -ls 【output路径】
hdfs dfs -cat 【output路径/part-r-00000】

注意output路径在代码运行前不要建立,否则会报错
删除文件夹:hdfs dfs -rm -r 【文件夹名称】

hadoop读csv:实验八 项目案例-电商数据分析https://bcxiaobai.eu.org/post/4875.html
最全hadoop:https://blog.51cto.com/u_15298458/3033234

最全hadoop:史上hadoop最强案例集合(官方案例都有)_qq60e7f9ba87f55的技术博客_51CTO博客

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/969708.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号