大数据知识_大数据学习笔记

一、测试环境准备 1、MySQL环境 version：5.7.34 IP：192.168.124.44 TAB：company、products、result company products res....

在一次执行spark任务的时候出现了以下错误 at org.apache.spark.rdd.RDD.foreachPartition(RDD.scala:933)at org.apache.spa....

近日，为助力落实国家双碳政策和有效推动能源结构转型升级，实现全域全产业参与的能源创新系统工程，树立创新、协调、绿色、....

本文研究全球与中国市场辐射屏蔽纺织品的发展现状及未来发展趋势，分别从生产和消费的角度分析辐射屏蔽纺织品的主要生产地区....

1）spark默认实现了HashPartitioner和RangePartitioner两种分区策略，我们也可以自己扩展分区策略，自定义分区器的时候继承o....

置顶 “前嗅大数据” 和数据大牛一起成长，做牛气哄哄的大数据人 【场景描述】采集带有翻页的网页中的数据。 【使用工具】....

在腾讯工作了8年，工作压力大，节奏快，但是从技术上确实得到了成长，尤其是当你维护与大促相关的系的时候，熬到9级也费了不....

引言        随着市场经济和科学技术的发展，社会对电的依赖性更强，要求供电可靠性更高，电网接入设备类型和数量越来越....

topic的作用就是将我们的数据进行分类 首先启动zookeeper：kafka是依赖于zookeeper的，所以启动用kafka要先启动zookeeper zk....

星际文件系统：2021年Web3主流的核心支柱 2021年Web3应用程序的受欢迎程度飙升。此技术用例的增长也给支持它们的基础设施带....

拼团返利是一个很好的营销活动商业模式，当拼团人数达到平台要求时，消费者能以更为实惠的价格购买商品，对消费者来说获得了....

ElasticSearch目录 文章目录 一、mysql中一对多的关系二、ES处理一对多关系的方案2.1、普通内部对象2.2、嵌套文档2.2.1、....

1 智慧消防在现代化城市中的建设目标 1.1 自构建智慧消防大型数据库     针对消防基础数据获取不足的情况，充分运用物联网....

【报告类型】产业研究 【出版时间】即时更新（交付时间约3个工作日） 【发布机构】智研瞻产业研究院 【报告格式】PDF版 本报....

2.4 CheckPoint，讲到了CheckPoint解决的问题，其中第三点是“重做日志不可用时，刷新脏页”。详细的描述是这样的： 重做....

步骤很简单，既然要基于yarn，前提是hadoop已经安装好了，我们选择hadoop集群的一个节点，安装一个flink客户端即可。我们平....

背景 最近在写hiveUDF的时候，遇到了一些反序列的问题，具体的报错如下： Caused by: org.apache.spark.SparkException: Job....

目录 多表连接 合并行Union all/union 合并列：1. 全连接 合并列：2. INNER JOIN 合并列：3. LEFT JOIN 合并列：4....

问题背景 //flink官方提供的链接 org.apache.flink flink-connector-elasticsearch7_2.11 ${flink.version} 我想....

前言 连接命令 java -jar presto-cli-0.269-SNAPSHOT-executable.jar --server localhost:8080 --catalog hive –server ....