大数据知识_大数据学习笔记

老肥前一阵子参加了ATEC科技精英赛的线上赛，赛题是网络欺诈举报定性，幸运地和大佬队友们以一个极简的stacking方案拿下了科....

Hive迁移后，读取报错：org.apache.hadoop.hive.ql.io.orc.OrcStruct cannot be cast to org.apache.hadoop.io.BinaryCompar....

SparkStreaming动态读取kafka生产者生产的数据并将它存入MySQL数据库 一、环境准备二、编写程序三、进行测试 关于使用sparks....

1：安装 RabbitMQ  这里 我会先同时安装三台机器，为以后的高可用集群做准备 注意在进行以下操作之前可以先关闭防火墙 或者....

目录 前言 安装成功的截图  第一步下载es的安装包 第二步检查本地的jdk的安装是否存在问题 第三步修改config文件夹下面的配....

console地址: https://pan.baidu.com/s/1rLbsVM-AxbYf1Fh0Yh4img 提取码: cfei  github地址: https://github.com/apache/r....

1：limit限制语句 limit m,n 两种用法： limit m：从查询结果中挑选前面的m条数据 limit m,n：从第m条开始取，取n条数据 用....

今天做数据交换任务后，将mysql数据导入hive，任务跑成功了，select * 有数据，但是想count查询却显示为0。 问题解决： 1、....

一、功能介绍 1、选择csv文件夹，遍历这个文件夹下的所有csv文件，csv文件名作为表名。这个文件夹下只能有csv文件，不能继续....

目录 1.1 Elasticsearch 简介2.1 安装Elasticsearch3.1 整合Elasticsearch 3.1.1 SpringBoot整合Jest操作ES3.1.2 整合....

前言 Apache Spark 自 2010 年面世，到现在已经发展为大数据批计算的首选引擎。而在 2020 年 6 月份发布的Spark 3.0 版本也....

SpringBoot 整合 ElasticSearch-7.15.2 一、Linux 安装 ElasticSearch-7.15.2二、SpringBoot 整合 ElasticSearch1. 新建一个....

21世纪，随着科技的爆发式发展，更多前沿的技术相继问世，经济的发展方向也随之改变，一种新的经济形态----数字经济，应运而....

分布式数字身份基本概念和模型 国际标准化组织/国际电子技术委员会将“身份”定义为“一组与实体关联的属性”，其中“实体”....

elasticsearch数据写入流程： 1、客户端发起数据索引（写入）请求，可以发送至集群中的任一节点，该节点会成为协调节点（coo....

问题描述 今天在azkaban上查看定时任务调度时，发现一直运行的一个project竟然神奇的失败了，赶紧去查看，还好，只是最后一....

杨建允：疫情下文旅消费新模式，大“游”可为文旅行业不管是旅游人群还是旅游方式都在不断细分，这对于整个文旅行业来说，既....

NESTED是为被嵌套的方法开启了一个子事务，这个事务与父类使用的是同一个连接。 REQUIRES_NEW是使用一个全新的事务，这个事....

对于一些数据量小的列表我们使用QListWidget往往能满足开发的需求，但是对于大数据量的展示来说(几十万，上百万)来说的话，....

2021SC@SDUSC hbase源码分析（九）HFile分析（1） 2021SC@SDUSC 2021SC@SDUSC 2021SC@SDUSC 2021SC@SDUSC 目录 2021SC@SDUS....