栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

在实践中学习Hadoop计算框架(01)--从0到Hadoop版“Hello word”:WordCount 的实现

在实践中学习Hadoop计算框架(01)--从0到Hadoop版“Hello word”:WordCount 的实现

第 3 章:Hadoop开发环境配置与搭建【实践篇】

基本思路:
windows平台
——(安装Vmware)——>创建N台虚拟机(裸机)
——(安装Linux操作系统)——>Linux平台

(如果是通过云服务器搭建,则省略上面两步。为什么?因为用票子了!)

——(集群部署)——>Hadoop平台(前夕准备)

接下来,才算是真正的要和Hadoop打交道了。你最准备好了吗?

——(安装模式:3选1)——>Hadoop平台

(了解即可)
Hadoop 支持的运行模式有3种:
本地模式、伪分布模式、全分布模式。这里我们选的是(全分布模式)

本地模式:无需运行任何守护进程,所有程序都在同一个JVM上执行。(由于在本机模式下测试和调试MapReduce程序较为方便,因此,这种模式适用于开发阶段。)
伪分布模式:Hadoop 对应Java守护进程都运行在一个物理机器上,模拟一个小规模集群的运行模式。
全分布模式:Hadoop 对应Java守护进程运行在一个集群上。

——(配置、搭建开发环境)——>编写第一个MapReduce程序

即
为了到达终点,我们需要做什么呢?
1.多台计算机
2.Linux操作系统
3.各个计算机之间能够通信 等(集群部署)
4.在计算机上安装Hadoop平台(Hadoop安装模式:本地、伪分布式、全分布式)
5.基于Hadoop平台【~开发环境】的搭建(如IDEA、Eclipse等Java开发工具)

然后,就可以开始我们的Hadoop之旅啦!~
实现 Hadoop版“Hello word”:“WordCount”

————————————————————————————————————

1————————————————————————————————————

【当前状况:windows平台】 ————…………————>【终极目标:WordCount的实现!!!】
(当前任务:安装Vmware)

【待补充】
2————————————————————————————————————

【当前状况:已安装Vmware】————…………————>【终极目标:WordCount的实现!!!】
(当前任务:Vmware 安装 Linux 操作系统)

这里选择的是Linux中的CentOS 7

参考:Vmware 安装 CentOS 7 详细教程(点击这里)

3————————————————————————————————————

【当前状况:Linux平台】————…………————>【终极目标:WordCount的实现!!!】
(当前任务:集群部署)

【待补充】

4————————————————————————————————————

【当前状况:已完成Hadoop安装的先决条件】————…………————>【终极目标:WordCount的实现!!!】
(当前任务:安装Hadoop

【待补充】

5————————————————————————————————————

【当前状况:已搭建好Hadoop平台】————…………————>【终极目标:WordCount的实现!!!】
(当前任务:(配置、搭建)开发环境,并(编写、编译打包、运行)第一个MapReduce程序)

【待补充】

(持续更新、完善中。。。)

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/604801.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号