大数据知识_大数据学习笔记

重启CDH服务器 由于修改了selinux和swap的设置，需要重启操作系统才能生效，因此请重启CDH服务器； 执行ansible脚本启动CDH....

import java.utilimport org.apache.hadoop.hive.ql.udf.generic.GenericUDTFimport org.apache.hadoop.hive.serde2.objectinspe

文章目录 前言一、样例数据二、样例源码三、总结思路问题 前言 以一个小例子：统计每个品类下最受欢迎的sku，来记录下spar....

12月10日，2021 AIOT开源科技节暨OpenHarmony技术论坛在广州召开，润和软件作为OpenHarmony项目的初始共建单位之一及积极的....

时至年末，香港资本市场新股认购颇为火爆，掀起了一波IPO热潮好戏，近日，又有一只新股向港交所发起冲击。 12月15日，国际永....

public static void main(String[] args) { //TODO 0.env/创建环境 SparkConf conf = new SparkConf().setApp....

文章目录 大数据数据库之HBaseHBase是什么HBase的概念HBase的特点HBase在实际场景中的应用 HBase集群安装部署准备安装包修....

目的 通过对各个城市的直销拒单率，求得省份的直销拒单率，并按拒单率降序排序，取前8写入hive； 数据格式 实现代码和操作....

ElasticSearch 中文分词器的安装与使用 前几节了解了es的部署以及相应语法，所用的文本都是英文那么中文该怎么办呢？，别慌e....

hive数据迁移到clickhouse 文章目录 hive数据迁移到clickhouse 1.使用命令导入 ....

1.下载解压安装hadoop，JDK 2.配置SSH免密码登录 3.将JDK和hadoop的安装目录添加到环境变量中 4.配置hadoop-env.sh 5.配置co....

前言： 突发奇想，将SpringBoot、spark、scala结合起来然后打成一个jar包，将jar包用spark-submit的形式提交，然后将spark暴....

4-1-持续集成 1. 组件介绍 1.1. 微服务 1.1.1. 介绍 微服务 (Microservices) 是一种软件架构风格，它是以专注于单一责任....

1、生产者 产生数据发送消息的程序是生产者。 2、消费者 消费者大多时候是一个等待接收消息的程序。请注意生产者，消费者和....

12月7日，据36氪消息报道，B站（哔哩哔哩）正筹备在直播间中上线“小黄车”功能，该功能上线后将支持用户在直播间内直接下单....

ElasticSearch简介 ElasticSearch是一个可高度扩展的开源数据存储、全文检索和数据分析的引擎，主要用于实现复杂搜索功能和....

数据清洗及特征处理 开始之前，导入numpy、pandas包和数据 #加载所需的库import numpy as npimport pandas as pd #加载数据t....

04-4-日志收集 1. 日志收集方式 Kubernetes的业务Pod日志有两种输出方式：一种是直接打到标准输出或者标准错误，第二种是....

一、前言 前面几篇我们讲了关于 Kafka 的基础架构以及搭建，从这篇开始我们就来源码分析一波。我们这用的 Kafka 版本是 2.7.....