
Flink程序的基本构建块是流和转换(请注意,Flink的DataSet API中使用的DataSet也是内部流 )。 1、实时需求 每隔5秒,统....
1.聚合查询 聚合(aggs)不同于普通查询,是目前学到的第二种大的查询分类,第一种即“query”,因此在代....
数据如下 错误写法! select msisdn as msisdn,max(no_active_day) as 60002_d_no_active_day_con_max....
from kazoo.client import KazooClient zk_source = KazooClient(hosts=':2181') #如果是本地那就写127.0.0.....
执行顺序: from > where(分组前的过滤) > group by > having(分组后的过滤) > order by > select(返回最后符合条....
一、kafka节点内磁盘使用不均衡 1、原因: 每次新建partition时,会选择partition少的目录,而不会考虑磁盘的使用空间 2、....
[root@master ~]# scp ~/zookeeper root@192.168.1.20:/root/zookeeper 在linux输入以上内容,报以下错误 /root/zookeeper: ....
1.1 程序概念 就是由一条一条语句和一条一条表达式构成的 1.2表达式概念 表达式就是一个类似于数学公式的东西 例如 1+1=2 2*....
大数据:是指能够让某个机构创建、控制和管理非常大的数据集的所有相关事物,以及存储这些数据集的设备。更加准确的是指从网....
参考:https://www.elastic.co/guide/en/elasticsearch/reference/7.16/security-basic-setup-https.html https://xie.infoq....
1.安装依赖包 yum -y install make gcc gcc-c++ kernel-devel m4 ncurses-devel openssl-devel openssl-dev socat unixODBC-....
背景 最近阅读了flink 1.10版本网络通信部分的相关源码,网络部分主要有两块: 组件之间的rpc调用(akka)taskManager之间的数....
一、定义: 分布式的基于发布订阅模式的消息队列 1、概念 1)Producer 消息生产者,就是向 kafka broker 发消息的客户端 2....
使用Spark清洗日志数据(一) 具体要求代码实现结果展示 具体要求 有一些较为杂乱的数据需要清洗,现在需要将其完成下列操作....
文章目录 1)System.getProperty("os.name")在Linux下的问题2)Linux下用os-release获取发行版友好名称 1)System.getProper....
1. Hive 简介 数据仓库工具,将结构化数据映射成二维表,并提供类SQL查询,底层把HQL转换成MR程序 Hive 自带的客户端 hiv....
1.Hive hiveserver2 启动,进程存在,但是查询不到10000端口的异常? 在hive-site.xml中添加一个配置,重新启动hiveserver2....
编写测试客户端代码 @Testpublic void testCopyFromLocalFile() throws IOException, InterruptedException, URISyntaxExc....
目录 文章目录 前言 一、现在,全球已步入大数据时代,那么,大数据是什么?有什么特点?能做什么? 二、什么是智能?什么是....
基本语法 hadoop fs 具体命令 OR hdfs dfs 具体命令 两个是完全相同的。 命令大全 [atguigu@hadoop102 hadoop-3.1.3]$ bin/....