栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

win10安装wsl(wsl windows)

win10安装wsl(wsl windows)

wsl简单安装Kafka 1 安装环境

Window11 安装 wsl Ubuntu 18.04 LTS

2 安装Java 3 下载kafka安装包

下载地址:https://kafka.apache.org/downloads

选择想要下载的二进制安装包

我这里使用的是kafka2.11(最好选用scala 2.12)

4 windows本地新建个文件夹解压

wsl中可以在/mnt文件加下直接访问windows文件,例如我windows的路径D:hadoopkafka_2.12-2.1.0,对应的wsl路径/mnt/hadoop/kafka_2.12-2.1.0

这时kafa已经可以直接使用了,但是如果要在windows系统中消费需要修改config/server.properties

增加如下两个配置

listeners=PLAINTEXT://localhost:9092
advertised.listeners=PLAINTEXT://localhost:9092

5 wsl中测试

进入kafka目录

cd /mnt/d/hadoop/kafka_2.12-2.1.0
5.1 启动zookeeper

kafka自带zookeeper,可直接启动

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
5.2 启动kafka
bin/kafka-server-start.sh -daemon config/server.properties
5.3 创建一个主题
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
5.4 发送消息
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

5.5 接收消息
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

5.6 flink中测试
public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        // kafka读取数据
        Properties properties = new Properties();
        properties.setProperty("bootstrap.servers", "localhost:9092");
        properties.setProperty("group.id", "consumer-group");
        properties.setProperty("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        properties.setProperty("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

        DataStream dataStream = env.addSource(new FlinkKafkaConsumer<>("test", new SimpleStringSchema(), properties));

//        // 使用KafkaSource读取数据
//        KafkaSource source = KafkaSource.builder()
//                .setBootstrapServers("localhost:9092")
//                .setTopics("test")
//                .setGroupId("consumer-group")
//                .setValueonlyDeserializer(new SimpleStringSchema())
//                .build();
//        DataStreamSource dataStream = env.fromSource(source, WatermarkStrategy.noWatermarks(), "Kafka Source");

        // 打印输出
        dataStream.print();

        env.execute();
}

6 每次重启kafka徐删除 /tmp/kafka-logs 文件夹
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/771507.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号