
边学边练,我们会完整的做一个大数据项目来练手 项目准备:VMware虚拟机,linux操作系统,hadoop架构,python等 第一天,先....
第一步: 由于各个集群之间都需要使用tez,而将tez分发到各个集群,又很浪费磁盘空间, 所以我们可以将 tez的tar.gz包上传到 hdf....
解压安装 tar -zxvf /opt/software/jdk-8u191-linux-x64.tar.gz -C /opt/module/java/ 拷贝jdk到其他centos机器节点 scp -r ....
@Test public void contextLoads() throws Exception{ int flag = 0; while(true){ Thread.sleep(2000); sender.send("hello....
文章目录 云·价值体现云·安全公有云、私有云、混合云技能部分提高稳定性的最佳实践 明天休息一天,好好打理一下博客,....
文章目录 概述先决条件 相关术语ETCD 部署源码安装其他方式安装报错 配置文件详解etcdctl 使用日志独立 概述 etcd 是....
业务组件单例化其实在现在企业级应用中都有大量应用场景,企业化应用中,频繁创建和销毁对象实例场景下对JVM的开销可以大到....
这几天重新回顾离线数仓的项目,一边看一边重新梳理了架构图,主要是重画了flume和kafka这块,注意一下生产flume和消费flume....
一、项目背景 二、问题描述 三、kafka读写原理 首先了解kafka读写流程,参考这篇文章:kafka存储机制与读写流程 先建立连接....
跑一个hive SQL作业,卡在一个join的stage上不动了,两边数据量也不大, 左边9.8w,右边23w, 4个task跑了十几分钟没动,....
spark groupBy与groupByKey 一,测试程序二,groupBy分区数如何确定三,groupBy与groupByKey的关系四,结论 spark中group转....
1 问题背景 【怪怪怪】 目前消费者组正常消费,但是通过kafka manager监测不到consumer组的消费信息;前期出现的问题是一台K....
踏遍千山万水寻找真相 背景: 我们都知道有时候会使用java来调用linux服务器上的命令,这时候自热而然的我们就想到了Runtime....
跳出圈外才能看懂外贸,圈内那只能自己内部推理。搞得像真的一样,不能以看百度,或者是自己理解范围内的看待这件事情。社会....
es5版本VSes6版本 索引(index,相当于是数据库中的一个库) 一个索引就是一个拥有几分相似特征的文档的集合。比如说,你可....
最近谈恋爱了,开心!恋爱归恋爱,学习归学习,今天就步入大数据实时领域吧,实习的这段期间接触较多的就是离线处理,had....
第一章-大数据概述-测试题 1、第三次信息化浪潮的标志是云计算、大数据、物联网技术的普及 2、就数据的量级而言,1PB数据是1....
韩媒报道指三星计划大幅缩减越南手机工厂的产能,原因在于该国的产业链以及人力资源无法确保工厂运作,缩减的产能将转移至印....
1. 物联网平台属于当下云计算的范畴 物联网并非全新的技术,而是一系列现有技术的有机整合,难点也在于包罗万象。技术几乎涵....
升级Java17问题记录 最新的长期支持版Java17于2021年9月14日如期发布,按照发布规划,JDK/Java 17 属于长期支持版本 (LTS),....