大数据系统知识_大数据系统学习笔记

主机hadoop101 1.把全部主机.ssh全部删除自带的.ssh 2.ssh-keygen -t rsa 3.ssh-coip-id hadoop101 4.ssh-coip-id hadoop1....

Kafka中的消息是以topic进行分类的，生产者生产消息，消费者消费消息都是面向topic。而每个topic里面都是有分区的概念，一个....

1 EFAK下载 https://www.kafka-eagle.org/ 2 上传解压tar包 tar -zxvf kafka-eagle-bin-2.1.0.tar.gz mv efak-web-2.1.0 ....

消息队列应用场景：应用解耦、异步消息、流量削峰等问题，实现高性能、高可用、可伸缩和最终一致性架构。 Kafka是由LinkedIn....

在hadoop集群安装配置实现的情况下配置spark集群的方法： 系数机器名IP地址hdfs角色spark角色1x-88x.x.104.88dnwk2x-89x.x.1....

大数据基准测试工具HiBench部署与测试 构建HiBench准备工作构建流程 测试测试HadoopBench测试SparkBench 构建HiBench ....

使用rpm方式安装 1. 查看已安装的版本 # java -version# yum list *jdk* 如果已经安装了，将其删除 # yum remove java-1.7.0....

场景：crontab定时执行 脚本内容： #!/bin/bashsource /etc/profile #添加有解决/bin/flink: No such file or directory报....

1. 下载RocketMQ的文件 https://rocketmq.apache.org/dowloading/releases/​​​​​​​ 选择 Binary: rocketmq-all-4.9.....

伴随着5G时期的来临，新一轮产业革命和行业转型深层次发展，企业战略转型早已变成必然趋势，诸多中国科技发展公司快速兴起，....

dolphinscheduler版本：apache-dolphinscheduler-2.0.3-bin sqoop版本：1.4.7 在任务调度中不断的报错说没有驱动，但是我查....

文章中所总结的pandas数据清洗操作，是以微软数据清洗利器Power Query为依据，将其中涉及的数据清洗操作用pandas来实现。 转....

大数据系列-SPARK-STREAMING流数据receiverpackage com.testimport org.apache.spark.SparkConfimport org.apache.spark.sto....

文章目录 闲扯安装 ansible配置证书登录Ansible 配置文件Inventory 定义方法方法一：将主机IP、端口、用户名、密码写在配置....

十三、Mybatis 113. mybatis 中 #{}和 ${}的区别是什么？ #{}是预编译处理，${}是字符串替换； Mybatis在处理#{}时，会将sql....

养老SaaS最初见于报端还要追溯至2012年，彼时SaaS行业初起，网络上还在弥漫着对SaaS该往何处去的种种讨论。在这种环境下，基....

功能 流量削峰应用解耦异步处理 组成 4大部分 生成者交换机队列消费者信道Channel 用于 复用一个连接(Connection–抽象socke....

一、创建flink源 1，安装 httpd 服务（随便一台服务器，这里选node01） [root@node01~]# yum -y install httpd [root@node01....

目录 1.创建文件夹  hadoop fs -mkdir [-p] .... 2.查看指定目录下的内容 hadoop fs -ls [-h] [-R] [.........] 3.上传文件....

1.排序查询 关键字 ：Order by 字段名 [ASC||DESC] ASC:升序(默认) DESC:降序 例 SELECt pname,price FROM product ORD....