栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

org.apache.hadoop.security.AccessControlException: Permission denied

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

org.apache.hadoop.security.AccessControlException: Permission denied

在测试往hive表中插入数据时报以下权限问题:

org.apache.hadoop.security.AccessControlException: Permission denied: user=hive, access=WRITE, inode="/app/.../test_table/_SUCCESS":Administrator:hadoop:-rw-r--r--
    at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:353)
    at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:252)
    at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:190)
    at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1950)
    at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1934)
    at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPathAccess(FSDirectory.java:1908)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFileInternal(FSNamesystem.java:2761)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFileInt(FSNamesystem.java:2702)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFile(FSNamesystem.java:2586)
    at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.create(NameNodeRpcServer.java:736)
    at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.create(ClientNamenodeProtocolServerSideTranslatorPB.java:409)
    at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:640)
    at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:982)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2351)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2347)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1869)
    at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2347)

(读写时遇到读写问题一定要仔细阅读报错信息,可能解决方法甚至出现问题的原因都可以从日志中获取到)

上面的日志信息说明在访问inode节点的数据文件时权限受限(我这里是访问hive数仓报的权限问题),然后在仔细看日志信息可以看到hive账户有写权限,但是当前访问的账户是Administrator。Administrator账户一般是windows的默认账户名,所以我的情况是本地起的程序默认账户是Administrator,所以不能去写hdfs文件系统中需要hive账户才能操作的文件。这里解决思路有两个,一个是修改hdfs文件系统中该文件的访问账户限制。另一个则是清空指定路径下的所有文件(即变相的清空表中数据,但比清空表数据更彻底)。这样无论什么账户在指定的路径下都可以重新生成文件。因为表中数据是测试数据,我采用了第二种方式,直接删除了指定路径下的所有文件。这样本地测试就可以了。
(第二种解决方式还有一个弊端,就是再用hive账户增删改表中数据时又会报权限问题,这个时候还得再删一遍,因为这个时候的数据文件默认账户是Administrator)

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/489716.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号