大数据知识_大数据学习笔记

目录 一、shell基础 1、shell的概念 2、shell环境 3、初见shell脚本 4、shell中变量 5、shell字符串 6、shell数组  7、shel....

介绍两个数据分析思路，三个数据分析方法和一个数据可视化工具： 1）分析思路 2）统计值分析法 3）分布分析法 4）对比分析法....

随着互联网时代的到来，也诞生出了很多领域，现在大家最关心的是大数据领域，那到底什么是大数据，大数据可以应用在哪些领域....

Hadoop生态圈之HDFS 1.HDFS定义 HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定....

Scala应用笔记——1 环境搭建： 1、SBT构建工具和REPL： SBT构建工具官网 安装 SBT，它是业内公认的构建工具。安装完成后，....

Spark数据倾斜调优图解 数据倾斜后果： ①Spark任务OOM异常退出；②拖慢整个任何的执行 1、MR执行流程 VS Spark执行流程....

alter table COLUMNS_V2 modify column COLUMN_NAME  varchar(128) character set utf8;

elasticsearch lucene: 跳表(SkipList)：增加了向前指针的链表叫做指针。跳表全称叫做跳跃表，简称跳表。跳表是一个随机化的....

很多人都有这样的问题： 我没有学过计算机，没有编程基础，可以学编程吗？ 我是非科班出身，现在30多岁了，还来得及吗？ 其....

文章目录 1. JSON Logging2. Add Logging for dev-coffeeshop Namespace3. 在Kibana中检查结构化日志3.1 Open Kibana Route3....

业务需求：可动态更新本地内存缓存信息 因有一些配置信息原来是存在redis中的，但是发现flink集群与redis集群网络有较大延迟....

根据官网文档整理的一点学习笔记，elasticsearch官方文档 索引 类似成一个数据库，储存关系型文档 索引一个文档：讲某个文档....

bool查询采用了“匹配越多越好”的方法，因此来自每个匹配的must或should子句的分数将添加在一起，以提供每个文档的最终_分....

日志的格式和组成，数据生成脚本，数仓分层以及用户行为数仓的搭建 日志的格式和组成 数据生成脚本 通过javabean一层一层封....

启动的时候 spark2-shell --jars hdfs:///xxx/a.jar 进入shell import org.apache.spark.sql.types.StringType;import com.t....

车间调度系列文章： 1、车间调度历史文章2、车间调度丨柔性车间的动态调度问题：重调度 引言 重调度：通俗来说，就是重新给....

Dubbo服务调用过程主要有两个阶段 1、服务消费方发起调用请求，并处理结果 2、服务提供方接收请求，并返回处理结果 第一阶....

shuffle优化 shuffle 就是map到reduce的过程 map阶段: 增大缓冲区的大小：默认100M，可以改为200增大缓冲区的溢写百分比：默....

大数据核心问题 1.如何存储？2.如何计算？ 解决方案 1970年传统方案2003年Google的解决方案2005年Hadoop框架下的解决方案1.....

代码如下 package hadoop_do;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import....