前沿技术知识_前沿技术学习笔记

一.流程分析 （1）解析sql，获取片键值，在本例中是order_id （2）Sharding-JDBC通过规则配置数据库和表路由规则 t_order_$-....

简单介绍了消息有序性的概念，以及RocketMQ如何实现消息的顺序消费。 文章目录 1 消息的有序性2 生产者有序发送3 消费者有....

任务：   搭建集群   重新开一个端口 还是在spark-master里面 运行  一直在不停的统计数据      job.py代码： # i....

1. Cassandra简介 Cassandra是一种非关系型（NoSQL)开源大规模分布式数据库，具有水平可扩展性、分布式架构及表结构灵活定义....

1. CDH服务器操作系统安装 1.1 管理节点分区简单配置 管理节点数为1，总共4块盘（每块600G），做raid10，为系统盘；剩余2块....

云智慧 AIOps 社区是由云智慧发起，针对运维业务场景，提供算法、算力、数据集整体的服务体系及智能运维业务场景的解决方案....

侯圣文大数据体验课笔记 一、玩转大数据和互联网大厂大数据解析 大数据职位有广袤的海洋： 未来比较吃香的ABC A:AI人工智能....

先看一段报错日志： ERROR ApplicationMaster: User class threw exception: java.lang.RuntimeException: serious problemj....

用户画像亿级数据表关联 这个项目的背景其实不是用户画像,但是我们需要和用户画像的表去关联，而且我们的关联逻辑有点复杂，....

在使用pyspark的时候，有时候需要用到graphframes库，但是如果直接在spark文件夹使用pip install graphframes，即使安装成功....

由于kafka运行是通过docker镜像的方式运行的，而且zookeeper外部的客户端也可以连接上zookeeper就排除了，zookeeper的异常情....

下载 wget http://archive.apache.org/dist/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz 解压 tar -zxvf ....

前提条件 三台Linux虚拟机，这里Linux使用的是CentOS7  安装好zookeeper集群，可参考ZooKeeper集群的安装 集群规划 node2n....

相关文章 RabbitMQ系列汇总：RabbitMQ系列 前言 什么叫消息队列？ 消息（Message）是指在应用间传送的数据。消息可以非....

一、实验目的 通过实验掌握基本的MapReduce编程方法；掌握用MapReduce解决一些常见的数据处理问题，包括数据去重、数据排序....

mySeckill.lua Lua优点： 减少网络开销：这个脚本只要执行一次，能减少网络传输 原子性：Redis将这个脚本作为原子执行要么全....

背景： 业务库表结构发生变更（新增或删除字段） 处理步骤： 1.把表移至tmp库： alter table ods.table_name rename to....

0、进入HBase shell cd /home/bigdata/Opt/hbase-2.4.12/bin ./hbase shell 1、 创建成绩表，列簇为 id,name,course create....

本文根据flink官方提供的测试方法进行编写，重点在于展示如何实现Flink任务的单元测试。 测试是每个软件开发过程中不可或....

1、使用IDEA的maven工程     2、增加Hbase的Maven依赖 想找对应版本的maven https://mvnrepository.com/ pom.xml 文件....