大数据知识_大数据学习笔记

支撑了80%的离线作业，日作业量在1W+ 大多数场景比 Hive 性能提升了3-6倍 多租户、并发的场景更加高效稳定 T3出行是一家基....

Flink简介 Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。核心是一个分布式、高性能、高....

第三方移动支付类产品竞品分析：支付宝VS微信支付VS云闪付 文章目录 第三方移动支付类产品竞品分析：支付宝VS微信支付VS云....

编译 | 禾木木 出品 | AI科技大本营（ID:rgznai100） 人类互动和交流的需求是根深蒂固的。 现在大部分的交流都是通过人....

三、数据技术篇—— 数据同步 3.1 数据同步基础 @3.1.1 直连同步3.1.2 数据文件同步3.1.3 数据库日志解析同步 3.2 数据仓....

一年一度的双十一又双叒叕来了，给技术人最好的礼物就是大促技术指南！ 而经过这些年的发展，大促早已不仅仅局限于电商行业....

DependentColumnFilter：一种允许用户指定一个参考列或引用列来过滤其他列的过滤器，过滤的原则是基于参考列的时间戳来进行....

一、前言         介绍我们在前面已经知道ElasticSearch底层的写入是基于lucence依进行doc写入的。ElasticSearch作为一....

Zookeeper(二)之底层原理及HAHadoop集群搭建 监听通知工作机制 zookeeper读写数据工作流程 zkServer投票选主流程 选主结....

数据产生是数据平台的源头，没有数据就没有大数据平台（数据产生传输处理） 数据的产生： 一.数据产生的来源分为以下几种： ....

前置 开发环境Laravel 8Dockermysql 5.7elasticsearch 7.9.1ik 7.9.1 1.数据库 CREATE TABLE `posts` ( `id` bigint(20) un....

准备工作： （1）虚拟机开启rabbitmq的web端管理界面 （2）账号密码：admin/123 （3）相关步骤：vm打开“1-CentOS 7 64位”....

文章目录 1、准备数据2、了解数据3、将数据导入hive4、如何清洗第一行的脏数据？4.1 方式一：shell命令4.2 方式二：HQL (hiv....

hbase对于C# 这块的使用资料太少了，之前一直是索取，今天我也为社区做点贡献，将我所用到的贴出来，希望能帮忙到后面的童鞋....

随着Facebook宣布正式改名为"Meta"，迅速蹿红的元宇宙概念再次掀起关注热潮.元宇宙到底是什么？是风口还是户口？我们应该如....

学习Zookeeper做的笔记。 目录 1、概述。 2、特点。 3、数据结构。 4、应用场景。 （1）统一命名服务。 （2）统一配置信息管....

文章目录 说在前面人话模式1.探索前的热身2.探索ing源码 说在后面 说在前面 ​ 今天的视频在讲解源码，不出意外的我又在....

引言 对于一款消息中间件来说，优良的数据存储设计，是实现高性能消息吞吐以及消息查询的关键所在。因为消息中间件对于外部....

粉丝福利送书：《 Java多线程与大数据处理实战》点赞  收藏 ⭐留言  即可参与抽奖送书 下周二(11月17日)晚上20：0....

hadoop完全分布式搭建 1. 准备工作1.1. 软件版本1.2. 集群规划 2. 环境搭建1.修改主机名2. 关闭防火墙3.修改hosts文件4.配....