前沿技术知识_前沿技术学习笔记

如果数据量大，维度多，用keyBy并不方便，建议写到外部实时数仓里，Clickhouse擅长实时查询，flink擅长实时处理。 一、多维....

项目场景： namenode -format进行格式化出错 出现以下错误：java.io.IOException: Cannot create directory /opt/hadoop-1....

1：数据分析项目怎么做 ：真正理解业务做项目的目的，想要解决什么问题 ：了解数据大概有多大，多少列，分布情况 等等 ：数....

package com.shujia.MapReduce;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import o

环境： CDH：6.3.1 FLINK: 1.14.4 CentOS: 7.18 简介：         明·凌濛初在《初刻拍案惊奇》中写到：“今日不期....

一、安装 官网安装参考：https://docs.getdbt.com/dbt-cli/install/overview 1、准备 安装Anaconda3环境 或者使用本地环境 P....

前言 大家好，我是云祁！ 和大家分享一本近期读完的非常不错的技术书籍，赵宏田老师的《用户画像：方法论与工程化解决方案》....

0 前言 大家好，我是小林。 今天是《大数据面试突击系列之 Spark》的第七篇，之前小林已经聊了，一个应用程序是如何将一个 a....

【报告类型】产业研究 【报告价格】4500起 【出版时间】即时更新（交付时间约3个工作日） 【发布机构】智研瞻产业研究院 【....

-- sparksql 连接mysql // spark连接mysql:val df = spark.read.format("jdbc").option("url", "jdbc:mysql://152.159.0.74:....

需要完成的事情： 重新学习数据结构与算法、操作系统、计算机网络、计算机组成原理学习大数据知识阅读《Flink设计与实现》，....

读写mongo 方式一 from pyspark.sql import SparkSessionmy_spark = SparkSession .builder .appName("myApp") ....

项目场景： hadoop环境运行程序出现 Retrying connect to server 问题。 问题描述 例如：INFO ipc.Client: Retrying connec....

一、玫瑰精油概述 玫瑰精油是世界上最昂贵的精油，被称为 "精油之后"。能调整女性内分泌，滋养子宫，缓解痛经，改善性冷淡和....

文章目录 rabbitMq安装centos8安装rabbitMq**rabbitmq****erlang**socat启动服务相关管理放行端口访问控制台 RabbitMQ 常....

在生产环境下，Elasticsearch最好单独运行在服务器中。为了能够使其使用系统所有可用的资源，你需要配置你的操作系统以允许....

需求: 1.将kafka中的数据采集传输到hdfs当中 2.采用的是lzo压缩的方式(也可以不采用压缩方式,flume官网有) 3.这里使用的是....

1.概述 官网：kafka 生态系统 Ecosystem 下面是我们被告知在主发行版之外与Kafka集成的工具列表。我们还没有全部尝试过，所....

随着业务的不断发展和信息化的不断深入，需建设的业务系统越来越多，随着业务系统的数据种类不断丰富完善， 数据量的不断增....

前言 本文隶属于专栏《大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ ....