本文通过一个统计”通讯录“文件内容的MapReduce程序案例来教大家如何使用IDEA打包MR程序并在集群里执行。
我们假设已经安装配置好了Hadoop。我们要做的就是在IDEA里写MapReduce代码并打包后放到我们的集群上执行。
一、环境准备我们在IDEA里新建一个maven项目,然后在新建的maven项目的pom.xml里添加如下依赖,其中hadoop的版本视自己情况而定。
org.apache.hadoop

本文通过一个统计”通讯录“文件内容的MapReduce程序案例来教大家如何使用IDEA打包MR程序并在集群里执行。
我们假设已经安装配置好了Hadoop。我们要做的就是在IDEA里写MapReduce代码并打包后放到我们的集群上执行。
一、环境准备我们在IDEA里新建一个maven项目,然后在新建的maven项目的pom.xml里添加如下依赖,其中hadoop的版本视自己情况而定。
org.apache.hadoop