大数据知识_大数据学习笔记

二进制部署方式 安装RabbitMQ提醒安装rabbitmq repo添加RabbitMQ and Modern Erlang的repo更新yum安装依赖包和程序：开启web....

这里加个大数据学习总结，希望以后能多加学习！ 1、280亿条大数据处理实战（SparkSQL+Hive）； （包括六部分） 2、PySpark空....

项目需求 根据给定数据统计每一个手机号耗费的总上行流量、总下行流量、总流量  编写MapReduce程序 编写Bean对象 package ....

修改hostname 1.查看主机名 2.修改主机名 [spark@localhost ~]$ sudo vim /etc/hostname 打开之后的内容是： localhost.loc....

记录一下编写spark遇到的坑 IDEA安装详见 安装IDEA 安装scala 这里有个坑，spark目前不支持2.13版本，所以我安装的是2.11版....

如果hive表中有扩展字段，那么扩展字段格式最常见的就是json格式，所以如何解析json字符串相对繁琐（虽然没啥技术） 用到....

Storm是流计算框架，相比于SparkStreaming的将流计算按照时间片将InputDstream切分成多段RDD而言，Storm的流计算可以到达毫....

1.scp scp就是secure copy安全拷贝 ,用于将文件或者目录从一个Linux系统拷贝到另一个linux系统下。scp传输数据用的是SSH协议....

每个被分析字段都会经过一系列的处理步骤： 字符过滤：使用字符过滤器过滤字符，如敏感词，缩写转为全写。文本切分为分词：....

一、安装jdk yum install java-1.8.0-openjdk* -yjava -version 二、安装zookeeper wget https://downloads.apache.org/zo....

ElasticSearch默认是standard.standard没有办法对中文进行合理分词的，只是将每个中文字符一个一个的切割开来，比如说中国人....

概述 有两种analyzer，你根据自己的需要自己选吧，但是一般是选用ik_max_word 如果是ik_max_word的话: 会将文本做最细粒度的....

第一节 ElasticSearch概述 1.1 ElasticSearch是一个基于Lucene的搜索服务器 它提供了一个分布式多用户能力的全文搜索引擎，....

routing——订阅模型-direct(直连) 在广播模式中，一条消息，会被所有的消费者消费，但在某些场景下，我们希望不同的消息发....

1、使用分区表和分桶表 2、使用count(1)，不使用count(*) 3、指定明确字段，不使用select * from emp 4、使用特殊的存....

需求：在window下通过flume采集douban.txt文件，将其保存到Linux的Hadoop上 1、解压flume的安装包：apache-flume-1.6.0-bi&#....

三种用户自定义函数 UDF（User-Defined-Function） 一进一出UDAF（User-Defined Aggregation Function） 聚合函数，多进一出....

文章目录 十、ES7.进阶--聚合聚合子聚合 8.Mapping字段映射创建索引并指定映射不能更新映射 9.分词安装ik分词器补充：li....

1、multi-index和multi-type搜索模式 告诉你如何一次性搜索多个index和多个type下的数据 /_search：所有索引，所有type下的....