栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

flume 中sink用hdfs sink报拒绝连接错误hdfs-io

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

flume 中sink用hdfs sink报拒绝连接错误hdfs-io

项目场景:

提示:这里简述项目相关背景:

使用flume,用hdfs sink


问题描述

提示:这里描述项目中遇到的问题:
报错:

WARN - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:454)] HDFS IO error
java.net.ConnectException: Call From hadoop102/192.168.xx.xxx to hadoop102:8020 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

`
---



---

# 解决方案:
1.flume文件是直接复制的,老师可以允许我的不可以,配置本身没有错
2. jar包冲突问题,hadoop与flume中的guava存在版本冲突问题,删掉旧版本,复制新版本--重试无果
3. 看到这篇文章https://www.saoniuhuo.com/question/detail-1948150.html
怀疑hadoop中namenode端口号与flume中写的hdfs路径不匹配

果然不匹配!
我的namenode的端口是9820,老师用的是8020,我直接照抄的8020;
前者是普通集群中hdfs namenode 的端口号,后者是高可用集群中NameNode的RPC通信地址。
按照官方文档,ip地址后面跟的应该是namenode的端口号,故9820正确




转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/763848.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号