Hive理论知识汇总 1、 Hive和数据库比较 Hive 和数据库除了拥有类似的查询语言，再无类似之处。 1）数据存储位置 Hive 存储....
hadoop版本2.10.1 1.创建目录 hdfs dfs -mkdir /test 2.查看目录下文件 hdfs dfs -ls /hdfs dfs -ls /test 3.上传本地文件 h....
1.Flink是什么 Flink是新一代分布式流式计算引擎，用于对海量数据进行实时处理和计算，具备快速容错（支持每条消息恰好处....
9月2日至7日，2021年中国国际服务贸易交易会（简称“服贸会”）在北京举办。数字化是本届服贸会的关键词，集中展示各领域数....
1平台介绍 Ambari2.7.4+HDP3.1.4 ，CentOS7。 2运行wordcount程序 程序的路径：/usr/hdp/3.1.4.0-315/hadoop-mapreduce/hado....
以前都是自己往小本本上总结, 后来小本本没了, 写到这里吧! 有问题请留言, 先谢过了 1. Flink 侧流输出 我们结合实际案例说....
Spark-Java Day01 打开DOS文件管理系统，在指定路径上方直接输入cmd，打开的cmd即为当前路径的命令行。 切换盘符： 盘符：....
spark的参数调优1.shuffle调优参数--spark.reducer.maxSizeInFlight 在shuffle-read时缓冲区的大小可以适当的加大一点，默认....
MapReduce中主要有三大类Mapper,Reduce,Drive,它们类似八股文一样有自己的格式 pom.xml: junit ....
} sbf.append(java.text.MessageFormat.format("{0}.{1}() {2}" ,e.getClassName() ,e.getMethodName() ,e.getLineNumber())....
1）Local:运行在一台机器上，通常是练手或者测试环境。 2）Standalone:构建一个基于Mster+Slaves的资源调度集群，Spark任务....
GET _search { "query": { "match_all": {} } } #分词器测试 ik_smart ik_max_word standard whitespace ....
安装zookeeper及kafka集群 不废话直接开始，请提前准备好镜像或者拉取新版本镜像 # 拉取镜像docker pull zookeeper:3.4.9doc....
服务器动态上下线监听 命令行客户端中删除所有测试时使用的节点，并创建servers节点 创建net.loftiest.case1.DistributeSer....
整合流程 Flume 发送数据到 Kafka 上主要是通过 KafkaSink 来实现的，主要步骤如下： 1. 启动Zookeeper和Kafka 这里启动一....
一 Lambda架构与Kappa架构 本章节内容大量摘自：https://docherish.com/post/da-shu-ju-chang-yong-de-jia-gou-lambda-he-ka....
在项目pom.xml中加入依赖 ```java org.elasticsearch.client elasticsearch-rest-high-level-client 7.6.1 org.elastic....
突然发现好久没有输出了，由于前段时间换了新工作，这段时间也没有接触到新的内容所以遇到的问题比较少，最近这段时间呢，主....
大数据4V+1C特征：数据量大(Volume), 多样(Variety), 快速(Velocity), 价值密度低(Value), 复杂度(Complexity) 云计算是处....
头歌Educoder云计算与大数据——实验二 Hadoop单机部署 答案在下面的链接里 https://blog.csdn.net/qq_20185737/article/det....
名师互学网 版权所有 (c)2021-2022 ICP备案号：晋ICP备2021003244-6号
