栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

【记录】Apache pulsar安装部署手册

【记录】Apache pulsar安装部署手册

1、前期准备

  • zookeeper 3.4.5
  • pulsar安装包 2.8.1
  • 集群免密环境

2、部署步骤

2.1、上传安装包到linux服务器上

下载地址:https://pulsar.apache.org/zh-CN/download/

2.2、解压文件到data目录下

tar -zxvf apache-pulsar-2.8.1-bin.tar.gz  -C /data/

2.3、初始化集群元数据信息

在risen-cdh01上执行

bin/pulsar initialize-cluster-metadata 
  --cluster pulsar-cluster 
  --zookeeper risen-cdh01:2181 
  --configuration-store risen-cdh01:2181 
  --web-service-url http://risen-cdh01:8089 
  --web-service-url-tls https://risen-cdh01:8443 
  --broker-service-url pulsar://risen-cdh01:6650 
  --broker-service-url-tls pulsar+ssl://risen-cdh01:6651

执行成功

10:36:09.876 [main] INFO org.apache.bookkeeper.discover.ZKRegistrationManager - Successfully formatted BookKeeper metadata
10:36:09.880 [main] INFO org.apache.zookeeper.ZooKeeper - Session: 0x16734464b360002 closed
10:36:09.880 [main-EventThread] INFO org.apache.zookeeper.ClientCnxn - EventThread shut down for session: 0x16734464b360002
10:36:10.033 [main] INFO org.apache.pulsar.PulsarClustermetadataSetup - Cluster metadata for 'pulsar-cluster-1' setup correctly

如果执行失败,进入zkclient中。删除相关文件即可

[zookeeper, counters, bookies, ledgers, managed-ledgers, schemas, namespace, admin, loadbalance]

2.4、修改Bookkeeper配置文件

vim conf/bookkeeper.conf

修改如下部分:

zkServers=risen-cdh01:2181,risen-cdh02:2181,risen-cdh03:2181

ps:端口修改可以自定义,但是不能与已有的端口冲突

2.5、修改brokers配置文件

vim  conf/broker.conf

修改如下部分:

zookeeperServers=risen-cdh01:2181,risen-cdh02:2181,risen-cdh03:2181
configurationStoreServers=risen-cdh01:2181,risen-cdh02:2181,risen-cdh03:2181
clusterName=pulsar-cluster

2.6、修改conf目录下所有8080端口

因为8080端口过于常用,很容易被占用

这里进行调整,改为8089即可

2.7、将修改后的文件分发到其他几台服务器

scp -r apache-pulsar-2.8.1/ risen-cdh02:$PWD
scp -r apache-pulsar-2.8.1/ risen-cdh03:$PWD

2.8、安装BookKeeper集群

分别在三台机器执行

bin/pulsar-daemon start bookie

执行完毕之后使用如下命令看看是否启动成功

bin/bookkeeper shell bookiesanity

如上图所示则表示启动成功

2.9、安装brokers集群

分别在三台机器执行

bin/pulsar-daemon start broker

然后在risen-cdh01上执行

bin/pulsar-admin brokers list pulsar-cluster

如上图所示则表示启动成功

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/618201.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号