大数据系统知识_大数据系统学习笔记

前置条件 首先已经安装的Java环境，并且安装了zookeeper服务注册中心。 下载 https://kafka.apache.org// 当前最新版本3.1.0....

1.下载最新版本报错了，所以下载了kafka_2.12-2.8.1版本2.windows安装进入binwindows目录执行如下，启动zookeeperzookeeper-....

通过access日志记录，可以分析出并发访问量的大小，也可以分析访问的基本信息，比如请求ip地址，请求客户端信息以及访问的具....

1、docker-compose安装 根据官网进行操作： 文档地址：https://docs.docker.com/compose/install/ 核心命令 # 下载并安装doc....

一、基础环境安装 如果你不想太麻烦，可以采用一台机器实现分布式，也是可以的按第1小节伪分布式环境小节进行实操，如果你有....

曾经在中国互联网技术圈广为流传着这么一个说法:MySQL单表数据量大于2000万行，性能会明显下降。事实上，这个传闻据说最早起....

常见的几个AI竞赛网站 CodaLab (CodaLab - Home) Kaggle (Kaggle: Your Home for Data Science) DataCastle (DataCastle-数....

佛山市妇幼保健院 坐落在千年古镇佛山 是佛山市首家三级甲等妇幼保健院 2018 2019 年全国三级公立医院绩效考核 位列妇产类医....

Hadoop回收站trash，默认是关闭的。开启回收站功能，可以将删除的文件在不超时的情况下，恢复原数据，起到防止误删除、备份....

Consumer测试类 import org.apache.kafka.clients.consumer.ConsumerRecord;import org.apache.kafka.clients.consumer.Cons....

kafka 集群搭建 这里博主用的kafka2.6.0 https://archive.apache.org/dist/kafka/2.6.0/kafka_2.13-2.6.0.tgz 上传服务器 ....

温馨提示   欢迎您使用速算小天才，我们非常重视保护您的个人信息和隐私。您可以通过《速算小天才隐私政策》了解我们收集、....

1.创建类实现Function接口 通过新建类去实现MapFunction，并自定义数据处理逻辑。 import org.apache.flink.api.common.even....

本文主要讲解应用SparkContext做SQL练习。 数据源Broken to Harness.txt，tags.csv是从hdfs上获取的，通过SparkContext做SQL....

近日，合合信息携手长江联合金融租赁有限公司（以下简称“长江金租”），通过智能文字识别、大数据等技术，提升金租业务流程....

作者：熊彪，腾讯云监控高级工程师 前言 腾讯云应用性能观测（APM）是一款应用性能管理产品，基于实时的多语言应用探针全量....

Sqoop导入数据–split by 和 --m（大于1）配合使用 split-by 根据不同的参数类型有不同的切分方法； 如int型，Sqoop会取最大....

spark sql 数据结构上下文环境对象DataFrame语法风格 DataSetRDD & DataFrame & DataSet 三者 相互转化UDF函数 数据结构....

python编程快速上手（持续更新中…） 推荐系统基础 文章目录 python编程快速上手（持续更新中…）推荐系统基础1、Spark SQ....

一HDFS 什么是HDFS？ 当数据集大小超过一台独立的物理计算机的存储能力时,就有必要对它进行分区并存储到若干台独立的计算机....