大数据知识_大数据学习笔记

1.1 网络配置 对安装好的 VMware 进行网络配置，方便虚拟机连接网络，本次设置建议选择 NAT 模 式，需要宿主机的 Windows ....

1：map，flatMap，Filter package com.atguigu.transfrom;import org.apache.flink.api.common.functions.FilterFunction;im....

问题解决：从hdfs上load数据到odl后数据格式不一致 解决方法：将新一批数据导入odl时分区字段设置新分区，不然数据会被之前....

刚签完三方，秋招也算正式结束了，整个秋招投了无数家公司，也收到了心动的offer。一路走来，坎坷不已，自学的道路充满各种....

11月4日，在腾讯数字生态大会上，腾讯宣布了云原生领域一项重磅开源进展—— K8s 多集群管理项目 Clusternet 正式开源。 Clu....

大家好，我是爱学习的小xiong熊妹。 今天继续更新九大数据分析方法系列。在工作中，我们经常会问： 下雨和业绩下降有多大....

五维空间和时空大数据是什么？ 五维空间是一个包含五个维度的空间，宇宙任何事物存在的基本属性。 以物理学的角度来说，五维....

点击进入Flink下载地址 本次Flink搭建的版本为flink-1.7.2 一、Flink集群环境搭建 1.上传flink并将flink解压到root下 [root....

spark内核结构： 1、Application 2、spark-submit 3、Driver 4、SparkContext 5、Master 6、Worker 7、Executor 8、Job 9、D....

目录 ES window 环境的elasticsearch  ik  kibana 下载 ES集群3种状态 模拟yellow 状态 副本数量修改 es常用查询json 单字....

一、介绍 在我们写一些结构比较复杂的SQL语句时，可能某个子查询在多个地方有重复使用的情况，这个时候我们可以使用 with as....

文章目录 增量同步遇到的坑并行度列式存储导出问题Sqoop数据导出一致性问题 增量同步遇到的坑 业务系统手动导入数据，导入的....

1.启动hive需要执行初始化命令：（可在101开另一个终端执行） 遇到的问题： 查了一下说是root用户权限不够。百度了好多，跟....

11月8日，百度智能云与中国电力科学研究院有限公司(以下简称“中国电科院”)签署战略合作协议，预计未来三年，在电力人工智....

近日，Kyligence 联合创始人兼 CTO 李扬出席“亚马逊云科技 INNOVATE｜ 数据驱动创新大会”，并发表 《 Kyligence + 亚马逊....

65.1 演示环境介绍 CDH集群，Anaconda，pip工具，Python包均运行正常CM和CDH版本为：5.11.2RedHat版本为：7.2Python版本为：....

一文读懂rabbitMQ和rocketMQ的消息可靠性机制 在我们大多数场景中，MQ消息都要保证可靠性，消息可靠性应该是我们最关心的一....

数据库按照维度不同，有不同分法，我们今天来按照不同维度来对数据库进行归类。 1. 数据量和事务型数据库 SQL，    关系型....

1.拉取镜像 docker pull elasticsearch:7.4.2docker pull kibana:7.4.2 2.先创建好es相关的文件 # 创建配置文件目录mkdir -p....

ubuntu安装ES 1. 使用apt安装 1）导入存储库的GPG密钥 wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | s....