
什么是canal? 阿里巴巴 B2B 公司,因为业务的特性,卖家主要集中在国内,买家主要集中在国外,所以衍生出了同步杭州和美国....
0. 引言 最近在将公司的一部分mysql数据同步到es中,采用了logstash-input-jdbc实现全量同步,canal实现增量同步,但是还有....
离线Hive数据仓库学习hbase(main):005:0> count 'events_db:train'flume -> kafka -> hbase -> hive[root@gree139....
摘要:Apache Flink是为分布式、高性能的流处理应用程序打造的开源流处理框架。 本文分享自华为云社区《【云驻共创】手把手....
一、前言 早期的 JavaScript 作为一种脚本语言,其产生的目的只是为了简单的表单验证或动画实现。 并且不需要分离多个 js....
一、认识JAVA以及JDK、JRE、JVM等; 二、基础语法,两大数据类型,8中基本数据类型,5种引用数据类型,算术运算符,比较运算....
在 OLTP 系统中,为了解决单表数据量大的问题,通常采用分库分表的方式将单个大表进行拆分以提高系统的吞吐量。 但是为了方....
Storm磊 Storm是Twitter开源的分布式实时大数据处理框架,被业界称为实时版Hadoop。随着越来越多的场景对Hadoop的MapReduc....
-- (x - min) / (max - min) 归一化create temporary macro percentageValue(value double, min_value double, max_value ....
hadoop作为大数据的基础框架组件,其包括hdfs,mapreduce和yarn三大组件。为了方便开发环境进行本地开发和测试,可以在windo....
1、HIVE的计算引擎 hive的引擎mapreduce、tez和spark三者比较hive sql执行方式对比(tez,mapreduce,spark,storm)TEZ和MapRe....
SpringBoot+ElasticSearch博客检索系统 一、初识ElasticSearch 1.ElasticSearch概念和适用场景 分布式;全文检索;实时快速....
数据清洗(ETL) Extract-Transform-Load,用来描述将数据从来源端经过抽取(Extract)、转换(Transform)、加载(Load)至....
前几天做大数据课设作业,要求用Hadoop构建单节点,然后用Spark训练个分类器。 具体代码可以看我的github GitHub - qinxukun....
什么是跳出? 跳出就是用户成功访问了网站的一个页面后就退出,不在继续访问网站的其它页面。而 跳出率就是用跳出次数除以访....
目录 封装 private关键字 this关键字 构造方法 给成员变量值的赋值方法 类的成员方法 一个基本类的标准代码写法 ....
多表查询还有前面的两块内容——内连接查询,外连接查询,希望看到这篇博客的朋友先去看看我的"Mysql数据库"专栏中Mysql数据....
世界上并没有完美的程序,但是我们并不因此而沮丧,因为写程序就是一个不断追求完美的过程 文章目录 elasticsearch对....
文章目录 思维导图链接2.认识RabbitMQ 总览2.认识RabbitMQ 常见问题题1:RabbitMQ各部分核心组件理解解答: 思维导图链接....
目录 一、简介 二、性能测试 1环境 2测试 ExcelExportUtil.exportExcel ExcelExportUtil.exportBigExcel 三、源码 1maven....