栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

阶段4模块2作业

阶段4模块2作业

注意:安装zookeeper,启动zookeeper服务,我只起了当前这一台虚拟机,所以之前配置的集群起不来,需要修改conf文件夹下的zoo.cfg,将集群节点注释掉,记得用完恢复。

安装之前需要先安装好zookeeper 和 kafka zookeeper配置文件

Kafka 的server.properties 配置


上面两个安装完成,并测试可以启动,开始安装nginx和ngx_kafka_module

确认安装以下jar包
yum -y install gcc pcre-devel zlib-devel openssl openssl-devel 
编译librdkafka
#cd librdkafka目录
make & make install

#注意这个需要git,编译之前要先 git init一下
安装nginx
Yum install -y nginx 下载nginx ng版本 1.18.0

也可以下载tar包,解压,重要的是配置文件,配置nginx.conf如下:server_name是后台的服务器地址。

下载ngx_kafka_module nginx
#在解压的nginx文件夹下执行下面的命令,将nginx和module结合起来。

./configure --add-module=/opt/ngx_kafka_module

make & make install 

#之后启动nginx,首先到下面这个目录,他的可执行程序在下面这个目录
cd /usr/local/nginx/sbin
#初次启动
 ./nginx -c /customSoft/nginx/nginx-1.18.0/conf/nginx.conf 
#后面启动
 
./nginx -c /customSoft/nginx/nginx-1.18.0/conf/nginx.conf -s reload

#启动异常
error while loading shared libraries: librdkafka.so.1: cannot open shared object file: No such file or directory

#解决方案

加载so库
#开机加载/usr/local/lib下面的库
echo "/usr/local/lib" >> /etc/ld.so.conf
 
#手动加载
ldconfig
测试:
[root@localhost customSoft]# curl http://192.168.31.11:80/kafka/log -d "kafka testing"
[root@localhost customSoft]# curl http://192.168.31.11:80/kafka/log -d "i am liuchang , tested kafka is used"

#消费消息
./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic user_info_topic --from-beginning

效果

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AguWbplb-1642518221885)(/Users/liuchang/Library/Application Support/typora-user-images/image-20220118003806669.png)]

编写前台代码:



    
    
    
    我的大数据作业
    


    




最终结果

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/712369.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号