栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Atlas编译部署

Atlas编译部署

官方下载地址:Apache Atlas – Data Governance and metadata framework for Hadoop

官网文档地址:Apache Atlas – Building & Installing Apache Atlas

以下笔记使用编译环境:

    centos8

    java version 1.8.0_311   (网上有说版本高于151)

    maven-3.6.3     (版本高于3.5) 注意:镜像不要使用阿里云的就用原版镜像地址

    Python 2.7.18

一、解压

tar -zxvf apache-atlas-2.1.0-sources.tar.gz
cd apache-atlas-sources-2.1.0
export MAVEN_OPTS="-Xms2g -Xmx2g"
mvn clean -DskipTests install        注:耗时很久

 

二、打包编译

    (1)利用自带的hbase 和solr打包--系统没有装hbase 和solr; (hbase 和solr默认会随着atlas服务器启动和停止而启动或者停止)

mvn clean -DskipTests package -Pdist,embedded-hbase-solr

   (2)如果系统装有hbase,solr则用如下命令打包:我采用这个

mvn clean -DskipTests package -Pdist

     (3)打包成功如下所示

     (4) 打包成功后会生成这以下文件

        地址:/usr/local/apache-atlas-sources-2.1.0/distro/target

三、安装Atlas

    

把生成的/usr/local/apache-atlas-sources-2.1.0/distro/target/apache-atlas-2.1.0-bin.tar.gz压缩包拷贝出来然后解压

    1、安装habse 

    2、安装zookeeper

    3、安装solr

tar -zxvf solr-7.5.0.tgz
cd solr-7.5.0
vi /usr/local/solr-7.5.0/bin/solr.in.sh

修改:ZK_HOST="centos801:2181"

        

4、使用外部hbase和solr需要做配置

    

      cd  /usr/local/apache-atlas-2.1.0/conf

 atlas-env.sh

修改:
export JAVA_HOME=/usr/local/jdk1.8.0_311
export MANAGE_LOCAL_Hbase=false
export MANAGE_LOCAL_SOLR=false

新增:
export JAVA_HOME=/usr/local/jdk1.8.0_311

 

 atlas-application.properties

修改:
atlas.graph.storage.hostname=centos801:2181
atlas.graph.index.search.solr.http-urls=http://centos801:8983/solr

 注释:

 

四、启动

    

    1、启动hadoop和yarn :start-all.sh

    2、启动zookeeper:zkServer.sh start

    3、启动hbase: start-hbase.sh

    4、启动solr并创建索引

 

cd /usr/local/solr-7.5.0
./bin/solr start
bin/solr create -c vertex_index -shards 1 -replicationFactor 1 -force
bin/solr create -c edge_index -shards 1 -replicationFactor 1 -force
bin/solr create -c fulltext_index -shards 1 -replicationFactor 1 -force

  创建完毕后浏览器查看:http://centos801:8983/solr

 

 

    5、启动Atlas:/usr/local/apache-atlas-2.1.0/bin/atlas_start.py

            

            初始密码:admin/admin

 

 

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/673877.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号