大数据知识_大数据学习笔记

一、概述     Mysql性能优化就算通过合理安排资源，调整系统参数使Mysql运行更快，更节省资源。Mysql性能优化包括查询速度....

1.分布式事务问题 1.1.本地事务 本地事务，也就是传统的单机事务。在传统数据库事务中，必须要满足四个原则：   1.2.分....

RabbitMQ 官网 1、主题队列--topic类型--生产者 using RabbitMQ.Client;using System;using System.Text;namespace TopicsSe....

//数字字符串被映射成text,日期字符串被映射成日期 PUT ttemplate/_doc/1 {   "someNumber":"1",   "someDate":"2019/01/0....

文章目录 1 联邦学习背景2 联邦学习树模型方案3 Ensemble Learning3.1 集成学习3.2 Bagging & Boosting3.2.1 Bagging (boots....

笔记记录 B站狂神说Java的ElasticSearch课程：https://www.bilibili.com/video/BV17a4y1x7zq. 链接：https://pan.baidu.c....

kafka的搭建 一、kafka介绍 kafka 是一个分布式数据流平台，可以运行在单台服务器上，也可以在多台服务器上部署形成集群。他....

临时起意，想编译下1.14的源码，结果在flink-runtime-web module下报错，导致编译失败。错误如下： npm ci --cache-max=0 --....

1.结构 flink-demo--src --main --java --com.bob.demo --App --DemoRichSink --FlinkDemo ....

参考文章：SpringBoot集成elasticsearch支持字段映射 SpringBoot集成elasticsearch支持自动@Field别名存储问题 1、问题描述 ....

HitRecall的scala实现 topK推荐中常用评估指标就有HitRecall，这个指标的定义如下 HR@K = NumbersOfHit@K / GT 分母是所有测....

第1章：中国工业气体行业发展综述1.1 行业研究背景及方法   1.1.1 行业研究方法概述 1.1.2 行业研究背景和研究意义 （1）行....

“end_offset”: 4, “type”: “”, “position”: 3 }, { “token”: “件”, “start_offset”: 4, “end_offset”: 5, ....

KeyBy算子：将数据流按照指定key进行分区（分组） 示例环境 java.version: 1.8.xflink.version: 1.11.1  示例数据源 （项....

题目描述 输入n个整数，找出其中最小的K个数。例如输入4,5,1,6,2,7,3,8这8个数字，则最小的4个数字是1,2,3,4。 解题思路 Str....

1.报错 Exception in thread "main" org.apache.spark.sql.catalyst.parser.ParseException: extraneous input '$'....

一、搭建步骤  1、Mycat节点安装zookeeper  2、Mycat安装mycat-web  3、修改配置文件 二、搭建

1.从内存集合中创建RDD 从集合中创建RDD，Spark主要提供了两个方法：parallelize和makeRDD val sparkConf = new SparkCo....

大数据基础：为什么HDFS（分布式文件系统）不适合批量存储小文件 1.小文件数量过多（例如图片）会占用批量占用namenode的....

Join算子：两个数据流通过内部相同的key分区，将窗口内两个数据流相同key数据元素计算后，合并输出（类似于mysql表的inner j....