win10环境部署和使用kafka

• 1.kafka的安装
• • 1.1kafka搭建
  • 2.2. 安装JAVA-JDK
  • 2.3安装zookeeper
  • • 2.3.1 下载
    • 2.3.2 安装
    • 2.3.3 配置
  • 2.4 安装kafka
  • • 2.4.1 下载
    • 2.4.2 安装
    • 2.4.3 配置
• 2.Kafka的使用
• • 2.1.kafka常用命令
  • 2.2 go语言的kafka API
  • • 2.2.1.sarama
    • 2.2.2下载及安装
    • 2.2.3使用

1.kafka的安装 1.1kafka搭建

kafka环境基于zookeeper,zookeeper环境基于JAVA-JDK。

2.2. 安装JAVA-JDK

略

2.3安装zookeeper 2.3.1 下载

下载地址：https://downloads.apache.org/zookeeper/

2.3.2 安装

然后将下载好的压缩包解压到本地即可

2.3.3 配置

1.拷贝一份zoo_sample.cfg文件并重新命名为zoo.cfg(zookeeper启动时，默认读取zoo.cfg为配置文件)


2.设置.confzoo.cfg里面的一些参数

//主要修改这三个参数
dataDir=D:\2Software\Kalfa\Zookeeper\zookeeper-3.4.10\conf\data
dataLogDir=D:\2Software\Kalfa\Zookeeper\zookeeper-3.4.10\conf\log
clientPort=2183  //端口自定义，默认的2181端口容易被其它进程占用

2.4 安装kafka 2.4.1 下载

下载地址：http://kafka.apache.org/downloads 下载kafka_2.12-2.8.1.tgz
(注意：最好不要下载高版本，Kafka 对 windows 文件系统没有很好的支持。)

2.4.2 安装

然后将下载好的压缩包解压到本地即可

2.4.3 配置

打开.configserver.properties

//主要修改这三个参数
listeners=PLAINTEXT://127.0.0.1:9093  //默认的9092端口容易被其它进程占用
log.dirs=D:/2Software/Kalfa/kafka_2.12-2.8.1/data/kafkadata
zookeeper.connect=127.0.0.1:2183  //端口号要和zoo.cfg中设置的端口号一致

自此，zookeeper和kafka的基本安装和配置已经完毕

2.Kafka的使用 2.1.kafka常用命令

//启动zookeeper
.binzkServer.cmd

//启动kafka
.binwindowskafka-server-start.bat .configserver.properties

//创建一个1分区的topic
.binwindowskafka-topics.bat --create --zookeeper 127.0.0.1:2183 --replication-factor 1 --partitions 1 --topic test

//查看当前主题中的所有topic
.binwindowskafka-topics.bat --list --bootstrap-server 127.0.0.1:9093

//查看指定的topic
.binwindowskafka-topics.bat --describe --zookeeper 127.0.0.1:9093 --topic test

//生产消息
.binwindowskafka-console-producer.bat --broker-list 127.0.0.1:9093 --topic test

//消费消息
.binwindowskafka-console-consumer.bat --bootstrap-server 127.0.0.1:9093 --topic test --from-beginning

2.2 go语言的kafka API 2.2.1.sarama

Go语言中连接kafka使用第三方库: github.com/Shopify/sarama。

2.2.2下载及安装

 go get github.com/Shopify/sarama

注意事项: sarama v1.20之后的版本加入了zstd压缩算法，需要用到cgo，在Windows平台编译时会提示类似如下错误： github.com/DataDog/zstd exec: “gcc”:executable file not found in %PATH% 所以在Windows平台请使用v1.19版本的sarama。(如果不会版本控制请查看博客里面的go module章节)

参考视频：
https://www.bilibili.com/video/BV1pE41117MG?p=12

2.2.3使用

连接kafka发送消息

package main

import (
    "fmt"

    "github.com/Shopify/sarama"
)

// 基于sarama第三方库开发的kafka client

func main() {
    config := sarama.NewConfig()
    config.Producer.RequiredAcks = sarama.WaitForAll          // 发送完数据需要leader和follow都确认
    config.Producer.Partitioner = sarama.NewRandomPartitioner // 新选出一个partition
    config.Producer.Return.Successes = true                   // 成功交付的消息将在success channel返回

    // 构造一个消息
    msg := &sarama.ProducerMessage{}
    msg.Topic = "web_log"
    msg.Value = sarama.StringEncoder("this is a test log")
    // 连接kafka
    client, err := sarama.NewSyncProducer([]string{"127.0.0.1:9092"}, config)
    if err != nil {
        fmt.Println("producer closed, err:", err)
        return
    }
    defer client.Close()
    // 发送消息
    pid, offset, err := client.SendMessage(msg)
    if err != nil {
        fmt.Println("send msg failed, err:", err)
        return
    }
    fmt.Printf("pid:%v offset:%vn", pid, offset)
}

连接kafka消费消息

package main

import (
    "fmt"

    "github.com/Shopify/sarama"
)

// kafka consumer

func main() {
    consumer, err := sarama.NewConsumer([]string{"127.0.0.1:9092"}, nil)
    if err != nil {
        fmt.Printf("fail to start consumer, err:%vn", err)
        return
    }
    partitionList, err := consumer.Partitions("web_log") // 根据topic取到所有的分区
    if err != nil {
        fmt.Printf("fail to get list of partition:err%vn", err)
        return
    }
    fmt.Println(partitionList)
    for partition := range partitionList { // 遍历所有的分区
        // 针对每个分区创建一个对应的分区消费者
        pc, err := consumer.ConsumePartition("web_log", int32(partition), sarama.OffsetNewest)
        if err != nil {
            fmt.Printf("failed to start consumer for partition %d,err:%vn", partition, err)
            return
        }
        defer pc.AsyncClose()
        // 异步从每个分区消费信息
        go func(sarama.PartitionConsumer) {
            for msg := range pc.Messages() {
                fmt.Printf("Partition:%d Offset:%d Key:%v Value:%v", msg.Partition, msg.Offset, msg.Key, msg.Value)
            }
        }(pc)
    }
}