大数据知识_大数据学习笔记

1、去重dropDuplicates、distinct ff =d.select(['dnum']).dropDuplicates()ff.count()ff.show()fff =d.select([&....

大家好，我是电商糖果 开一家抖音小店没有流量，出单量差，小店权重做不上去，商品进不到流量池。 我们知道只有小店的权重越....

近日，贝多财经从港交所披露易了解到，凯盛融英信息科技（上海）有限公司（下称“凯盛融英”）在港交所的上市申请材料已经变....

1、将两个流中的数据进行join处理 package cn._51doit.flink.day05;import org.apache.flink.api.common.functions.MapFunct....

什么是数据倾斜 Hadoop能够进行对海量数据进行批处理的核心，在于它的分布式思想，通过多台服务器（节点）组成集群，共同完....

kafka是一个分布式的，分区的消息(官方称之为commit log)服务。它提供一个消息系统应该 具备的功能，但是确有着独特的设计。....

记录在虚拟机上安装与配置CentOS 6.4操作系统的过程 一、为什么选择Linux？二、在虚拟机上安装CentOS 6.4操作系统 一、为什....

下载WINDOWS版本ES8 解压缩后 使用第一次运行elasticSearch时 会自动进行安全配置 这事在控制台中可以看到有password -> Ela....

Bitmap、BitSet持久化存储 ​ 关于Bitmap的算法我在这里就不写了，这里主要提供一个持久化存储的思想。BitSet实现了Bitmap，....

impala 3.2.0 这里目录 impala 3.2.01、架构1.1、Impala 存储的状态1.2、Impala元数据和元存储1.3、查询处理接口1.4、查询....

北京冬奥会上，运动健儿们激战正酣，他们正在用速度、力量、韧性诠释更快、更高、更强的奥林匹克精神，向他们致敬！其实，在....

作者：许海军 小 T 导读：格创东智科技有限公司成立于 2018 年，孵化于中国 500 强企业 TCL，是我国知名的工业互联网平台....

目录 前言1. YARN应用开发流程1.1 客户端Client开发1.1.1 提交应用1.1.2 监控应用运行状态 1.2 AppMaster开发1.2.1 AppMas....

目录 Flink流处理APIEnvironmentSourceTransform Flink支持的数据类型实现UDF函数-更细粒度的控制流SinkFlink-窗口windowwi....

昨晚睡得还算顺利，中途没有被吵醒过。这个室友就是有点不太好，太喜欢抽烟了，整个屋子里面全是烟味。还在厕所里面抽烟，早....

计算能力根据场景抽象分成四大类：批计算、流计算、在线查询和即席分析。 不同场景配合不同的存储和计算框架来实现，以满足....

文章目录 前言springboot测试测试现象源码分析 联想 前言 之前在Java直接测试mq消息持久化时，采取如下的配置实现消息的持....

1.微信全景监控平台介绍 微信全景监控平台，是微信的多维指标 OLAP 监控以及数据分析平台。支持自定义多维度指标上报，海量....

数据经济时代，数字化转型浪潮滚滚而来，各大银行也开始了全面的数字化转型。然而，由于业务复杂、数据庞大、精细度要求高，....

文章目录 Spark介绍什么是SparkSpark架构Spark工作过程 类别型特征处理One-hot独热编码 数值型特征处理归一化与分桶 ....