大数据知识_大数据学习笔记

这个报错是因为RDD的transformation中嵌套transformation或action，导致计算失败 可以先从报错那一行找到嵌套的transformat....

Kafka 是一个分布式、高吞吐量、可持久性和自动负载均衡的消息队列。它在实现了传统意义上的 MQ 功能的同时，也可以作为大数....

前段时间，字节跳动发布了再招 1 万人的消息。但从字节的招聘岗位需求来看，研发人员仍占多数。很多开发者们又要开始蠢蠢欲....

KADB 是北京人大金仓信息技术股份有限公司基于开源的greenplum数据库研发的一款分布式关系型数据库，全称是KingbaseAnalytic....

数仓建模实战(建模流程) 前面我们介绍了PdMan，也就是CHINER，当然也介绍了二者的关系，前面主要介绍了CHINER有哪些功能，可....

应甲方要求，我们要在页面按频次刷新后台目标数据，当然是首选websocket了，由后台向前端推送数据。前端修改刷新频次时，向....

之前的文章“在 Elasticsearch 中回测 RSI 交叉策略”，我们介绍了如何使用 Elasticsearch 实现相对强弱指数 (RSI) 指标以获....

这里写目录标题 三、Hive的全局排序和局部排序3.1. 使用一个Reducer3.2. 使用多个Reducer3.2.1. order by3.2.2. sort by3.2.....

业务流程 流程图 一、数据采集 针对数据采集，定义接口save(保存)、submit(提交)提供给前端，操作数据库。 人工录入 ....

目录 前言：案例简介 一、什么是.520勒索病毒？ 二、中了.520后缀勒索病毒的数据文件怎么恢复？ 三、恢复案例介绍： 1. 被加....

用户分析是很多人挂在嘴边的东西。然而一做起来，经常被做得七零八落。很多新手一听”用户分析”，就跟条件反射一样开始：“....

文章目录 一、什么是可行性？二、可行性包括的七个方面1.投资必要性。2、技术可行性。3、财务可行性。4、组织可行性。5、经....

1、什么是Prometheus? Prometheus （普罗米修斯）是由 SoundCloud开发的开源监控报警系统和时序列数据库 。 2、Prometheus的....

sparklyr不仅提供了基于Spark的分布式机器学习算法库，还有其他的一些功能。如下： 使用dplry和SQL（通过DBI）交互式的操....

用户可以通过spark.udf功能添加自定义函数，实现自定义功能 1.UDF 步骤： 创建DataFrame scala> val df = spark.read.json("....

目录 1. 前言 2. 项目结构 3. dubbo2项目 4. SayProvider项目 4.1. pom.xml文件 4.2. application.yml文件 4.3. AppMain类....

数据生产 数据生产是指数据从无到有的过程，也就是创造新数据或者以数据材料、原始数据为基础加工成为新数据或数据产品的过....

ETL系列之Sqoop ==楼兰== 文章目录 一、ETL简介1、关于ETL2、大数据与传统关系型数据库的关系3、Sqoop简介 二、Sqoop下载....

mysql实现hive row_number()函数分组 按照app字段分组,show_raw排序：select app,show_raw,rank from (select repor....