大数据系统知识_大数据系统学习笔记

背景 最近做一个需求，业务需要一个查看并能导出订单的页面。但分析历史订单数据发现公司每个月都有六七百万的订单数据，如....

Spark-sql查询正常   Hsql查询异常 Failed with exception java.io.IOException:java.lang.RuntimeException: ORC split g....

作为一家数字化引领的工业品服务平台，震坤行通过产业网络协同、智能化供应链、数字化采购平台，打造数字化供应链体系，做到....

1、应用场景 1.1、实际工作中可能会遇到百万条数据量的Excel表格上传到后台进行解析。 那么传统的POI，它只适用于数据量较小....

一、背景知识介绍 ​ Ambari 内置服务包括Ambari 自己都是以rpm 包方式存放于repositories中。Ambari 一般有四个 repositori....

哈喽！大家好，我是小奇，一位不靠谱的程序员 小奇打算以轻松幽默的对话方式来分享一些技术，如果你觉得通过小奇的文章学到....

Flink-Exactly-once系列实践-KafkaToKafka 文章目录 Flink-Exactly-once系列实践-KafkaToKafka一、Kafka输入输出流工具类二....

供应链中积累的大量数据在企业中如何发挥价值？更多“智”造企业在使用的新一代SCM协同系统，数字化管理与供应商的全业务过....

1、简述： MirrorMaker为Kafka自带的数据迁移工具，可以利用此种方式直接进行kafka集群之间的数据迁移；减少中间组件的使用....

本章进行第一次RabbitMQ的基本使用，采用模块化的方式（模拟分布式），大概流程是：调用A服务A接口，A接口向消息队列中间件....

这个是报错信息 Exception in thread "main" org.apache.spark.sql.AnalysisException: Cannot up cast `age` from bigint t....

一、搭建Java开发环境 1. 先查看安装后的镜像中是否存在Java [root@hadoop1 java]# java -versionopenjdk version "1.8.0_18....

DAO是Decentralized Autonomous Organizationd简写，即去中心化自治组织；是指一个围绕共同使命，通过智能合约进行约束，去....

Spark-SQL很强大，可以读写各种JDBC的库，先来一弹MySQL的，超简单： 1.MySQL库建测试表和数据： CREATE TABLE t_realtime.t....

引言 RocketMq 作为一个成熟的消息中间件，自身保证了高可用性。学习RocketMq中的高可用性可以帮助我们自己在平时编写代码时....

本文所使用方式为在windows独立环境中进行pyspark的开发，如需链接hdfs还是要借助虚拟机的，主要包含以下几个步骤 一、windo....

TuShare是一款为那些有兴趣做股票期货数据分析的人提供pandas矩阵数据的工具，是国内免费库中最好的财经数据获取接口，可获....

Centos中eclipse打不开的问题 当你打开eclipse发现这个问题： 第一步：找到报错的路径：（我的就是/home/hadoop/workspace/....

01 前言 Aliware 随着全球大数据不断增长，未来数据云存储容量需求也将不断扩大，iiMedia Research（艾媒咨询）数据显示，20....

本文章对虚拟机的安装配置、jdk的安装以及hadoop完全分布式集群的搭建进行了讲解。 1、安装虚拟机、操作系统 2、设置IP、虚....