栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

大数据技术原理与应用(一)

大数据技术原理与应用(一)

首先安装VMware和乌班图,然后根据书上教程安装hadoop,在配置java环境使可以直接上甲骨文进行下载。下载时需要注意首先是下载.tar.gz格式的压缩包。其次是一定要提前看一下自己的虚拟机是几位的,如果不匹配就会在安装时出现“可执行文件错误”。在下载时可以通过虚拟机直接下载,也可以先安装VMtools在主机上下载再进行拖拽。

使用此命令可以查看虚拟机的位数。顺带一提,使用vim进入配置文件时,使用“i”可以对文件进行插入,退出摁“esc”然后输入":wq"就可以保存并退出,什么操作都没有可以使用“:quit”进行退出。如果不小心破坏了文件可以再次用vim打开,他会提示你一些东西,可以让你进行修改或者直接对文件进行还原。

其次继续跟着书上的指示更改两个xml文件,core-site.xml和hdfs-site.xml怎么修改书上都有,就不再赘述。主要是记录一些自己在配置以及实验时出现的一些问题。接下来进行初始化文件系统,这样才能进一步执行计算任务。

这个终端非常不智能,一定要仔细检查自己输入的命令是否正确,尤其是/和有没有空格。

执行结果如下:

好的通过跟书上的比对,果然又出现了错误。 

 然后没找到错误原因,暂时标记,如果后面出现什么问题首先考虑这一步。

接下来启动HDFS,启动失败。

又往上翻了一下在执行Grep实例的时候就已经出现了错误,不愧是我。从头再来。

这次出现的是这种错误,先确定一下自己的jar目录是不是切实存在的。直接复制了这个文件的名字进行命令更新出现了不一样的东西,接下来继续向下走看看是否一致。好的还是不对。

这个问题的原因是发生在系统位数不匹配,可以找到匹配的系统进行安装,也可以在hadoop-env.sh和yarn-env.sh添加如下两行:

 添加之后在执行命令上述问题解决,但我看着还是不太对劲,再试一下。

好的果然还是有问题,真好。

解决完这个错误去keep然后开会。

捣鼓了一派子,下载的hadoop位数是64位

好好好

现在已经是下午6点了,我还没安好,从上午9点开始,除去下午上课和锻炼的时间已经很长了。有的时候自己也弄不明白,按部就班的按照书上的内容来进行安装和各种操作,还会出现这样那样的问题,你出这书干啥,真的有病,也不说解决办法,在网上也搜不到,只能一遍遍的卸载重新安装,服了。


        hadoop.tmp.dir
        file:/usr/local/hadoop/tmp
        Abase for other temporary directories.
    

    
        fs.defaultFS
        hdfs://localhost:9000
    


        dfs.replication
        1
    

    
        dfs.namenode.name.dir
        file:/usr/local/hadoop/tmp/dfs/name
    
        dfs.datanode.data.dir
        file:/usr/local/hadoop/tmp/dfs/data
    

安好了

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/762015.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号