大数据系统知识_大数据系统学习笔记

1.创建数据库 现在数仓环境已经搭建好了； 数据也都已经采集到hdfs上了； 1）启动hive [atguigu@hadoop102 hive]$ bin/hive ....

集成Springboot 导入pom.xml org.springframework.boot spring-boot-starter-data-elastics....

用Python爬取最新疫情数据 这次重大疫情，每时每刻数据都有可能变化，这篇博文将为大家讲解如何爬取实时疫情数据，并且分析....

1.注册了腾讯云轻量服务器centos7 自带docker Permission denied (publickey,gssapi-keyex,gssapi-with-mic) 2. 远程访问 两....

一、环境要求 Hadoop+Hive+Spark+HBase 开发环境。 四、功能要求 1.数据准备  请在 HDFS 中创建目录/app/data/exam，并....

说到短视频达人的赚钱能力真的让我们这些“凡人”羡慕不已，那为什么他们会那么赚钱呢？ 今天咱们来唠唠达人、主播们的商业....

2021年是充满挑战的一年。在这一年里，上至国家级顶层设计，下到各省市的地方发展规划，多项交通政策出台；智慧交通继续推进....

同步调用的优点：时效性较强，可以立即得到结果 同步调用的问题： 1.耦合度高 2.性能和吞吐能力下降 3.有额外的资源消耗 4.....

如需查看完整报告和报告下载或了解更多，公众号：参一江湖   医药-专题资料​-2021年月度新增117份（11.22-1.2） 2021年生....

在我们使用Python连接greenplum时，涉及到将数据写入到greenplum中。一般都是使用dataframe封装的to_sql函数。但是to_sql是....

RabbitMQ集群镜像模式部署 rabbitmq集群模式有2种 普通集群模式（无高可用性）: 默认模式，以两个节点（rabbit01、rabbit02....

简单总结了下，内容源自网络。 public static boolean isTableExist(String tableName) throws IOException { // 创....

本文同步发表于我的微信公众号，扫一扫文章底部的二维码或在微信搜索 chaodev 即可关注。 文章目录 1、Clickhouse简介1.1 ....

大家好，我是雷恩Layne，最近开始写flink系列文章，旨在用最直白的语言讲好flink，让所有看到的人能够一目了然。如果大家喜....

1、DBeaver连接HIVE查询实战 1.1、HiveServer2的相关知识 Hive架构之HiveServer2 Prerequisites: Have Hive installed and s....

目录 部署流程简述注意事项具体操作步骤 部署流程简述 此文档基于JIRA V8.15.0版本配置部署，对其他JIRA版本只具有参考作用....

文章目录 1. 基本概念1.1 什么是ShardingSphere1.2 什么是分库分表1.2.1 垂直分库1.2.2 垂直分表1.2.3 水平分库1.2.4 水平分....

Dataset和DatFrame的使用 有类型的转换操作转换操作过滤聚合切分排序去重集合操作 无类型的转换操作选择列的创建与重命名剪....

CES展会与潜行创新 国际消费类电子产品展览会（International Consumer Electronics Show，简称CES），现已成为了全球各大电....

大家都知道由于疫情的缘故，现在跨境电商这个行业不是热，而是太热了，如果你想抓住跨境电商这一个风口，或者说你正在做却没....