栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Kafka单机配置

Kafka单机配置

测试版本号2.13 版本不同命令会有少许差异

1、下载并kafka解压到指定目录
    tar -zxvf ./kafka_2.13-3.0.0.tgz

2、kafka需安装zookeeper使用,但kafka集成zookeeper,在单机搭建时可直接使用
    1)创建zookeeper目录
    mkdir /usr/local/kafka/zookeeper 
    
    2)创建zookeeper日志目录
    mkdir -p /usr/local/kafka/log/zookeeper 
    
    3)进入配置目录/usr/local/kafka_2.13-3.0.0
    cd /usr/local/kafka_2.13-3.0.0/conf
    vi zookeeper.properties 
    
    4)编辑修改相应的参数
    #zookeeper数据目录
    dataDir=/usr/local/kafka_2.13-3.0.0/zookeeper 
    #zookeeper日志目录
    dataLogDir=/usr/local/kafka_2.13-3.0.0/log/zookeeper 
    clientPort=2181
    maxClientCnxns=100
    tickTime=2000
    initLimit=10
    syncLimit=5

3、配置kafka_2.13-3.0.0/config下的server.properties
    1)目录创建及参数配置如下:
        advertised.listeners=PLAINTEXT://192.168.145.132:9092 #远程服务配置,用于远程链接
        broker.id=0
        #topic可以删,默认是false
        delete.topic.enable=true   
        #端口号,可不配置
        port=9092 
        #服务器IP地址,也可修改为自己的服务器IP
        host.name=192.168.145.132   
        log.dirs=/usr/local/kafka_2.13-3.0.0/log/kafka     #日志存放路径,上面创建的目录
        zookeeper.connect=localhost:2181 #zookeeper地址和端口,单机配置部署,localhost:2181


4、启动/停止命令
    1)启动zookeeper
    /usr/local/kafka_2.13-3.0.0/bin/zookeeper-server-start.sh /usr/local/kafka_2.13-3.0.0/config/zookeeper.properties &
    2)启动kakfa
    /usr/local/kafka_2.13-3.0.0/bin/kafka-server-start.sh /usr/local/kafka_2.13-3.0.0/config/server.properties &
    3)停止kafka-zookeeper、kafka
    /usr/local/kafka_2.13-3.0.0/bin/zookeeper-server-stop.sh
    /usr/local/kafka_2.13-3.0.0/bin/kafka-server-stop.sh
    
5、查看
    1)shell命令
    切换目录:cd /usr/local/kafka_2.13-3.0.0/bin/
    2)查看topic信息
    ./kafka-topics.sh --bootstrap-server 192.168.145.132:2182  --describe --topic  orderTopic  ;查看名字为orderTopic的topic
    ./kafka-topics.sh --bootstrap-server 192.168.145.132:2182 --list   ;查看topic 列表
    
    查看topic信息

6、启动异常处理
    1)EndOfStreamException: Unable to read additional data from client sessionid 0x16b0bd525660003, likely client has closed socket
        解决方法:
        a)将zookeeper.connection.timeout.ms=6000这个6000调大,调成30000
        b)清除日志
    

****************************完****************************
7、centos7 设置静态IP
    1)etc/sysconfig/network-scripts/下修改enp0s3的配置文件ifcfg-enp33
    2)BOOTPROTO=static
        IPADDR=192.168.*.*
        NETMASK=255.255.255.0
        NM_ConTROLLED=NO
    3)重启network服务 service network restart

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/761913.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号