大数据知识_大数据学习笔记

将爬取后的数据，进行分词处理，并存入txt格式文件。 实现：读取excel中的语料，进行分词处理，每条语料的词语集合转成一个l....

记录spark运行task数据倾斜问题 Container killed by YARN for exceeding memory limits… Consider boosting spark.yarn.ex....

Permission denied: user=Lenovo, access=WRITE, 切换到虚拟机 修改hadoop权限 hadoop fs -chmod -R 777 /

代码下载：百度网盘 提取码:37qt 现在叫大数据，以前可以称为信息、情报等等名字。以前的信息搜集技术没有这样发达，只能以....

--saas、私有化--主讲:  主题:【DB、大数据、性能、稳定性】 tps:200w/s -- 阶段性演进 -- 1、底层硬件、各种协同、技术容....

目录 需求背景 解决方案 实施方法 1.编写shell文件 2.将sh文件放到hdfs上 3.创建workflow  4.执行测试  5.创建coordinate....

12月23-24日，2021数据技术嘉年华（DTC）将在北京丽都皇冠假日酒店盛大开启。围绕“智能·创新·新生态——数据智领未来 生....

项目问题： Apache Zookeeper是美国阿帕奇（Apache）软件基金会的一个软件项目，它能够为大型分布式计算提供开源的分布式配....

环境说明：HDP 3.1.5 使用了学院的服务器集群 将 csv文件导入到hbase中 create 'emp_data',{NAME => 'info&#....

1.新建一个eclipse项目工程 作者的架构：  我们要用到的java文件就是写在HDFS下的Test.java文件 2.Test.java package HDFS....

用HDFS写数据流程图打通HDFS任督二脉 文字详解 （1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNo....

文章目录 etcd 是什么etcd结构简介etcd 数据通道etcd通信架构应用场景和ZK对比 etcd 是什么 etcd 这个名字由两部分组成： et....

文章目录 一、Apache Flink简介二、漏洞简介三、漏洞复现四、上传jar包getshell 一、Apache Flink简介 Apache Flink 是一个....

主从架构：一个JobManager(作业管理器)和多个TaskManager(任务管理器) JobManager进程中包含三种线程; 1)ResourceManager（....

1.data_format 小时取整 小时相加减 2.current_data 3.now()获取当前时间 4.day()日 5.to_date，字符串转换为日期 6....

rbac Hazelcast uses Kubernetes API for auto-discovery. That is why you need to grant certain roles to your service acc

HBase难点总结 1、要开启hbase之前必须先开启hdfs和zookeeper 2、启动hdfs:my_hadoop.sh start 3、启动zookeeper：zk.sh sta....

前期准备 安装 virtualbox （还是vmware好用T_T） 搭建2台 虚拟机，安装 centos8 系统（后面发现NAT无法联通，最多只能验证....

近日，第四届中国金融科技产业峰会、第三届中新（苏州）金融科技应用博览会在苏州国际博览中心开幕。大会同期举办的博云“云....

happybase官方文档 HappyBase — HappyBase 1.2.0 documentation 代码  # 注意 我这里表小,使用scan全表扫描hbase数据,如....