Linux 系统 192.168.50.15 Ubuntu 20.04.3 硬件配置 CPU Xeon E3-1240 V232GB RAM128GB SSDGT730 Display Card 已安装服务 z....
文章目录 一、输出文件格式及序列化文件生成1.1、输出文件格式1.2、设置输出SequenceFileOutputFormat文件格式 二、输入文....
spark+Java数据结构 combineByKeyjoinleftOuterJoincogroup实现统计每个省份的广告阅读量 转换算子reducecollectcountfi....
HDFS客户端写流程 1.创建文件 首先调用DistributedFileSystem.creat()创建一个空的HDFS文件。 然后这个方法在底层会通过....
YARN与MapReduce1的区别 1.组成对比 MapReduce1中，两类守护进程控制着作业执行过程：一个JobTracker和一个或多个TaskTrac....
三、HDFS常用Shell操作 3.1、HDFS文件系统 HDFS Shell 指的是可以使用类似shell的命令来直接和Hadoop分布式文件系统（HDFS）....
1、数据库的概念：即信息的仓库，是一个存放数据的仓库。 数据库的物理本质是一个文件系统，按照一定的数据结构（即计算机存....
埋点设计：数据分析师获取数据的源头。 在APP上，用户的点击、浏览等行为都是可以被记录下来的。 数据分析师的任务是设计哪....
HDFS客户端读流程 1.打开HDFS文件 用户读取一个HDFS文件时，首先会调用open()方法打开这个文件，并获取文件对应的FSDataIn....
最近课题组有一个月的某市内的出租车数据，储存的格式是DMP格式，为了转成方便使用学习的CSV文件，这俩天陆陆续续的一直在鼓....
一、Hive设计思想 （了解） Facebook用户社交数据存储与处理 Facebook是美国的一个社交网站 ，于2004年2月4日上线。主要创始....
C3P0 package com.sql.jbdc.datasource;import com.mchange.v2.c3p0.ComboPooledDataSource;import org.junit.Test;import java.
打开mysql软件 输入当前计算机的mysql软件的密码：如root； 当输入密码无法打开Mysql时； 以管理员模式打开cmd： 再在....
一、商品上架 1、项目架构图 2、product-es准备 ES在内存中，所以在检索中优于mysql。ES也支持集群，数据分片存储。 需求....
问题报错 mysql5.7数据库无法启动，数据库data目录下err错误日志中记录：unknown variable 'innodb_ad....
第二部分： import java.io.*;public class IO { /** * IO流概述 * 可以将数据在传输看作数据的流动，流动分析看....
Hive的优化 1. 查询join的优化 1. 尽量不使用子查询、尽量不使用in 或者not in (可以使用 [not] exists替代)2. 尽量避免join....
数据是用来描述事物的符号。可以是数值型数据，也可以是图片，音频，视频等。数据存放在计算机外存中。 数据库....
学习心得 先从存储设备的金字塔结构，然后侧重讲解面向磁盘（disk-oriented）的DBMS，再则通过三大结构：文件的组织结构、页....
聊聊我最近的分库分表骚操作 前言背景分库分表方案切分策略不分库，只分表 技术选型问题及解决方案分布式ID实现不重复的ID....
名师互学网 版权所有 (c)2021-2022 ICP备案号：晋ICP备2021003244-6号
