win10下IDEA连接虚拟机上的HDFS实现文件操作

要在windows下连接虚拟机上的HDFS首先要保证windows下有java环境和hadoop环境

    这里给出hadoop在windows下的配置方法跳转windows下hadoop环境配置,java环境的配置可以搜相关教程。

• IDEA连接虚拟机上的HDFS
• • 一、环境准备
  • 二、big data tools插件连接HDFS
  • • 安装步骤
  • 三、通过代码方式连接远程HDFS
  • 四、报错解决

1.   JDK-13
2.   IDEA2020.3
3.   Ubutun 18.04
4.   Hadoop 2.10.1

    2.  打开big data tools 进行配置
打开侧边栏的big data tools 新增一个hdfs。

然后进行ip地址的配置.,

HDFS开放的端口地址通过如下方法可以获取，首先在虚拟机中通过ifconfig指令，获取到当前虚拟机的ip地址，然后在虚拟机hadoop安装目录下/etc/hadoop/core-site.xml文件，显示如下

，然后将big data tools的url设置为文件中的地址。这里要注意如果你的是9000端口开放则客户端无法访问到这个端口，可以将9000修改为8020。
最终如下:点击ok即可。


    3.  打开big data tools 进行配置

连接hadoop所需要的maven依赖:

    
        junit
        junit
        4.12
        test
    
    
    
        org.apache.hadoop
        hadoop-client
        2.7.2
    
    
    
        org.apache.hadoop
        hadoop-common
        2.7.2
    
    
    
        org.apache.hadoop
        hadoop-hdfs
        2.7.2
    

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

public class Read {
    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://192.168.164.134:8020");//这里填写你的hdfs端口
        FileSystem fs = FileSystem.get(conf);
        System.out.println(fs);
        FSDataInputStream fis = fs.open(new Path("/input/file1.txt"));
        IOUtils.copyBytes(fis,System.out,4096,true);
    }
}

1. 连接服务器时，出现Connection refused: no further information异常
       （1）首先检查主机和虚拟机之间的通信，通过ping命令进行检测主机和虚拟机之间是否连通。如果主机无法ping通虚拟机，则首先通过sudo ufw disable关闭虚拟机防火墙，然后检查主机网络连接，是否存在VMent1 和VMnet8 ,然后分别对这两个网络连接进行诊断，重新定位IP地址。然后通过ping命令，看看主机能否正常连接虚拟机。若正常则进行下一步。

    （2） 检查虚拟机能够ping通主机，如果不能ping通主机，则可能是由于主机防火墙的原因，直接的办法就是关闭主机的防火墙，然后再次尝试ping主机IP，一般都能够成功。如果想不通过关闭防火墙ping通主机，可在百度上自行查找资料，修改虚拟机网络连接配置。这里采用的是关闭主机的防火墙。
    （3）如果主机和虚拟机能够互相ping通，则可以进行idea连接hdfs操作了。运行上述代码或者通过big data tools连接即可.