大数据知识_大数据学习笔记

windows下载hadoop2.x版本配置环境变量  配置pom.xml 4.0.0 org.sw.hadoop.api hadoop-api-m 0.0.1-SNAPS....

绪、需求说明 将源系统mysql表数据全量抽取到hive中作为ODS层，不保留历史变化 create table T_YYBZB_TGH_BANKINFO( id ....

目录 3. DataFrame 类型的遍历过程 3.1 按行遍历 DataFrame.iterrows() 3.1.1 DataFrame.iterrows() 语法 3.1.2 DataFram....

RabbitMQ简单模式 相关视频参考（来自动力节点）：https://www.bilibili.com/video/BV1Ap4y1D7tU 相关资料下载：http://www.....

elasticSearch：搜索引擎 非关系型数据库 Elasticsearch也是基于Lucene的全文检索库，本质也是存储数据，很多概念与MySQL类....

datax datax只要上传到linux本地，解压即可使用，如果不想每次执行的时候都要输入路径，可以配置到环境变量里面 DataX 是....

今天来和大家分享下这个 ElasticSearch 中必须要掌握的几个概念。 整体关系 老规矩~ 先从整体上认识认识他们~  每个 ....

序言： 外部数据源作为金融机构判客群风险最重要的征信维度，其作用不需多言，在信贷行业最风控的时候，某家机构公司数据成....

本文概要：2015年，易果生鲜成立标志着生鲜电商的出现，至今，生鲜电商已经走过了十几个年头，先后有京东、阿里、美团、滴滴....

中国的电网经过几十年的发展，目前全国用电覆盖率超过98%，220千伏及以上输电线路长度超过790000千米。随着电力系统的快速发....

题型与分值 选择题10道*2分=20分填空题5道*2分=10分判断题5道*1分=5分简答题2道*10分=20分方案设计题1道*15分=15分 （无唯一....

SQL 操作 基本上来说传统关系型数据库(以 MySQL 为例)的 SQL 语句,ClickHouse 基本都支持，但是也有一些不同之处。 Insert ....

1、将txt文本文件放置hdfs目录下 2、登录hive并进入到指定数据库 3、创建表 create external table if not exists fun_user....

模型数据库数据： 1、like 模糊查询 sql语句： SELECt *FROM kshwhere name LIKE '%11%' 这个SQL语句....

副本 副本的目的主要是保障数据的高可用性,即使一台 ClickHouse 节点宕机,那么也可以从其他服务器获得相同的数据。 https://....

文章目录 Hadoop大数据技术课程总结1.大数据概述1.1大数据时代的4V1.2大数据时代的三次浪潮1.3大数据时代的技术支撑1.4谷歌....

前言 … … 部署 ]# mkdir -p /data/deploy/kafka]# cd /data/deploy/kafka]# cat > docker-compose.yml 云上服务器的配置....

摘要 产业动态： 解放军报：打造“战场元宇宙”将使媒体内容具备更加强大的影响力 元宇宙入选腾讯“2022年最受关注的22项新....

目录 1.前情回顾 2.Map端表合并分析  2.1 将产品表缓存起来  2.2  在进行map之前加载缓存路径  2.3 打开文件，创建流对....

业务场景： 1.生成订单30分钟未支付，则自动取消，我们该怎么实现呢？ 2.生成订单60秒后,给用户发短信 1 安装rabbitMq wi....