栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Maven、Redis、及Kafka安装与配置

Maven、Redis、及Kafka安装与配置

Maven安装与配置 一、下载与安装
前往https://maven.apache.org/download.cgi下载最新版的Maven程序

二、自定义存放目录

将文件解压到D:Program FilesApachemaven目录下

三、环境变量配置
  1. 新建环境变量MAVEN_HOME,赋值D:Program FilesApachemaven


2. 编辑环境变量Path,追加%MAVEN_HOME%bin

四、通过DOS命令检查一下是否安装成功

redis安装和部署 一、下载安装包
  1. 官方https://redis.io/download下载地址
    不支持Windows(但是Redis项目不正式支持Windows。不过,Microsoft开放技术小组开发和维护这个Windows端口针对Win64)
  2. Windows下载地址(微软的GitHub地址)
https://github.com/MSOpenTech/redis/releases
二、环境变量配置

三、启动服务端和客户端
  1. 方法1:在目录中直接双击redis-server.exe文件启动服务,再双击redis-cli.exe启动客户端

  2. 方法2:拷贝一份redis.windows.conf文件至DOS命令用户下,在cmd中输入redis-server.exe redis.windows.conf 启动服务

四、校验是否成功
  1. 服务器端启动成功后无需关闭,重新打开一个cmd窗口输入redis-cli.exe -h 127.0.0.1 -p 6379命令
  2. 输入命令set myKey abc
  3. 输入命令get myKey
Kafka安装与配置

安装Kafka首先需要安装Zookeeper

Zookeeper配置 一、安装java jdk并配置环境变量 二、下载配置Zookeeper
  1. 下载安装包: http://zookeeper.apache.org/releases.html#download
  2. 解压并进入ZooKeeper目录,如:D:Kafkazookeeper-3.4.9conf
  3. 将“zoo_sample.cfg”重命名为“zoo.cfg”
  4. 打开“zoo.cfg”找到并编辑dataDir=D:Kafkazookeeper-3.4.9tmp(必须以分割)
  5. 添加系统变量:ZOOKEEPER_HOME=D:Kafkazookeeper-3.4.9
  6. 编辑path系统变量,添加路径:%ZOOKEEPER_HOME%bin
  7. 在zoo.cfg文件中修改默认的Zookeeper端口(默认端口2181)
  8. 打开新的cmd,输入"zkServer",运行Zookeeper
  9. 因版本问题运行可能会有启动错误提示"ZooKeeper audit is disabled"
  10. 在zkServer.cmd配置文件中添加"-Dzookeeper.audit.enable=true"
  11. 命令行提示"ZooKeeper audit is enabled"如下:说明本地Zookeeper启动成功
  12. 注意: ZooKeeper启动窗口不要关闭
Kafka安装与配置
  1. 下载Kafka包 下载地址

https://archive.apache.org/dist/kafka/

  1. 解压并进入Kafka目录,找到config目录打开文件server.properties
  2. 找到并编辑log.dirs路径

log.dirs=D:Program Fileskafkakafka-logs

  1. 编辑服务端口
zookeeper.connect=localhost:2181


5. 执行命令,启动kafka服务

 .binwindowskafka-server-start.bat .configserver.properties
  1. 启动报错信息:
ERROR Disk error while writing log start offsets checkpoint in directory  

折腾了好久 根本原因是版本安装太高 我安装的是kafka_2.12-3.0.0 改成kafka_2.12-3.8.0 其他的配置方式一样,再次执行命令成功

 .binwindowskafka-server-start.bat .configserver.properties


7. 创建主题 命名为test 输入命令

.binwindowskafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test


8. 查询主题 输入命令如下

.binwindowskafka-topics.bat --list --zookeeper localhost:2181


9. 创建生产者,输入命令

.binwindowskafka-console-producer.bat --broker-list localhost:9092 --topic test
输入: Pytest


10. 创建消费者,输入命令

.binwindowskafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning
  1. 向生产者窗口写入消息,消费者窗口也能同步的接收到消息
  2. 查询topic配置信息
.binwindowskafka-topics.bat --describe --zookeeper localhost:2181 --topic test

Kafka安装配置总结
  1. 打开新的cmd,输入"zkServer",启动zookeeper服务,不关闭
  2. kafka服务启动 ,不关闭页面
.binwindowskafka-server-start.bat .configserver.properties


3. 创建topic测试主题kafka,成功不关闭页面

.binwindowskafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic Pytest


4. 查询主题 输入命令

.binwindowskafka-topics.bat --list --zookeeper localhost:2181


5. 创建生产者并产生消息,不关闭页面

.binwindowskafka-console-producer.bat --broker-list localhost:9092 --topic Pytest


6. 创建消费者接收消息,不关闭页面

.binwindowskafka-console-consumer.bat --bootstrap-server localhost:9092 --topic Pytest --from-beginning


7. 生产者再次发送信息,同步给消费者

8. 查询topic配置信息

.binwindowskafka-topics.bat --describe --zookeeper localhost:2181 --topic Pytest


9. 查询到有2个主题

.binwindowskafka-topics.bat --list --zookeeper localhost:2181


10. 删除主题test 只是做了删除标记

.binwindowskafka-topics.bat kafka.admin.DeleteTopicCommand --zookeeper localhost:2181 --delete --topic test

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/612508.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号