大数据知识_大数据学习笔记

分布式系统中必备的一个中间件就是消息队列，通过消息队列我们能对服务间进行异步解耦、流量消峰、实现最终一致性。 目前市....

近日，由大数据领域垂直专业媒体数据猿发起的「金猿奖」年度榜单揭晓， 知道创宇凭借强大的技术优势与市场竞争力。经过多重....

Kafka创建Topic出现replication factor: 2 larger than available brokers: 0 减少replication factor还是出现错误的解决办....

1.查看httpd是否安装 # rpm -qa httpd 2.安装httpd # yum install -y httpd* 3.启动httpd服务，查看启动后的状态 #....

开发环境部署lilishop商城系统的开发环境部署：MySQL、Redis、MongoDB、RocketMQ、Elasticsearch、xxl-job等各类中间件。 ....

我们在搞一个大数据平台的时候，数据从哪些来？一般也无非以下几个来源： 1）自己的业务系统，可能是MySQL或其他各种DB； 2....

说起东南亚跨境电商，相信大家一定不会陌生，近几年Shopee和Lazada平台发展越来越好，许多新手朋友也纷纷进军东南亚市场，在....

Es技术栈新手入门使用篇 二 两者对比 Es：面向文档型数据库 （一切数据都是以Json格式存放） os：记住Es是默认集群配置 即....

一 flink的伪分布式搭建 1.1 执行架构图     1.Flink 程序需要提交给 Job Client     2. Job Client 将作业提交给 J....

硅谷创投教父、PayPal创始人、特斯拉、SpaceX天使投资人彼德•蒂尔在《从0到1》中写到：1998年9月开始的短命网络热潮，其背....

使用的项目构建工具为Maven，使用坐标如下： org.apache.curator curator-recipes ....

1.lzo安装 #检查是否有lzop命令[wangly@hadoop000 ~]$ which lzop#若没有执行如下安装命令[wangly@hadoop000 ~]$ yum inst....

归一化：常用的方法是通过对原始数据进行线性变换把数据映射到[0,1]之间标准化：经过处理后的数据均值为0，标准差为1 其中....

在京东工作了8年，工作压力大，节奏快，但是从技术上确实得到了成长，尤其是当你维护与大促相关的系统的时候，熬到T8 也费了....

乱序问题解决 time watermark 容错 重启策略 state 什么是flink state flink state用来做什么 flink state 怎么用 checkpoin....

图源：MacRumors 近年来，苹果和谷歌一直因强制开发者使用其 App Store 内支付系统而受到批评。去年 Epic Games 的游戏《堡....

编译打包可以在Hadoop 3.3.1和Hive 3.1.2上使用的Tez-0.10.1-minimal 1、遇到的问题2、修改3、遇到的坑4、资源 1、遇到的问....

一、安装jdk8，参考链接 Centos7安装JDK8以及环境配置_Apollo-CSDN博客_centos7安装jdk8 二、准备es安装包解压 tar -zxvf e....

1. 查看yarn全局安装位置 yarn global dir 2.修改yarn全局安装位置 yarn config set global-folder "自定义路径，如 D:yarng....

hadoop启动 start-all.sh，一次性启动hadoop与yarn 启动hive1 nohup /export/server/apache-hive-3.1.2-bin/bin/hive --serv....