
Spark dataframe 学习笔记 前言 在处理PB级的数据时,有时候会使用到pyspark来分析数据,首先贴上官网链接 有问题先去官网看....
WordCount词频统计 词频统计 WordCountMap.java // Map类,继承于org.apache.hadoop.mapreduce.Mapper;public class Word....
接上篇Node.js个人学习笔记 上篇Node.js个人学习笔记rabbitmq(本地服务自行安装)1.中间件2.配置及封装3.接口4.测试 上篇Nod....
请先自行安装jdk kafka下载 wget https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/3.0.0/kafka_2.12-3.0.0.tgz tar -x....
Linux下安装包 jdk: 链接:https://pan.baidu.com/s/1rOaXHBsA9IlnwUREfjJARA 提取码:qh9s zookeeper: 链接:https://pan....
前言 如果我们此时需要往redis导入大量数据,如果能快速操作?? 一行一行的命令加入的话耗费往返时间 使用管道可以节省往返....
1.driver宕机 (1)如果job运行在client:程序直接挂了 (2)如果job运行在cluster: -》spark on standalone/mesos:通过sp....
近期刚刚在NeurlPS-21上发表了一篇文章,用于分子性质预测的图预训练策略。 本文亮点在于①提出一套分子破裂的方法;②提出....
每当采购云服务的时候,客户都说要安全,很多人困惑,啥才是安全,咋就不安全了? 当出现下面的情况,客户觉得会觉得不安全....
Hadoop技术集群安装 参考文档: python基础操作以及hdfs操作 - Simon92 - 博客园 https://blog.csdn.net/qq_23043541/articl....
zookeeper常用命令 启动zookeeper命令 zkServer.sh start conf/zoo.cfg 连接zookeeper命令 zkCli.sh -server localhost:2181....
写在前面,本篇示例是笔者实践所得,如果不当烦请及时沟通,共同学习。 文章目录 写在前面,本篇示例是笔者实践所得,如果不....
日志的作用 日志记录主要用来监视代码中变量的变化情况,周期性的记录到文件中供其他应用进行统计分析工作;跟踪代码运行时....
1、导入es的python库 from elasticsearch import Elasticsearchfrom elasticsearch.helpers import bulkfrom elasticsearch ....
HIVE如何修改默认端口 方案一:在配置文件中修改方案二:在启动的时候指定端口 由于服务器网络安全策略限制,hive 的serv....
大数据技术原理与应用 第三版 林子雨 期末复习(一)大数据概述 第一章 P2 大数据概念(4V)三次信息化浪潮(每隔15年发生一次)....
hdfs有很多命令,比如说hdfs dfs -ls,hdfs dfs -put, hdfs dfs -mkdir,hdfs dfs -cat,hdfs dfs -rm等等,一般操作hdfs都....
1、环境准备 提前准备三台虚拟机(最少三台,越多越好,不然,没钱你搞什么大数据),构建三台虚拟机免登录为了方便使用 ....
HBase——一个以列式存储的NoSql非关系型数据库 介绍 简介 Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩、实时....
hive的时间函数 取得当前日期 select current_date(); 取得当前日期时间 select current_timestamp(); 取得当前....