- MaxWell安装及配置
- Maxwell监控抓取MySQL数据
提前准备好MaxWell软件包
tar -zxvf /opt/software/maxwell-1.25.0.tar.gz -C /opt/module/
1、在 MySQL 中建立一个 maxwell 库用于存储 Maxwell 的元数据
mysql -uroot -p000000 mysql> CREATE DATABASE maxwell;
2、设置安全级别
mysql> set global validate_password_length=4; mysql> set global validate_password_policy=0;
3、分配一个账号可以操作该数据库
GRANT ALL ON maxwell.* TO 'maxwell'@'%' IDENTIFIED BY '000000';
4、分配这个账号可以监控其他数据库的权限
GRANT SELECT ,REPLICATION SLAVE , REPLICATION CLIENT ON *.* TO maxwell@'%';Maxwell监控抓取MySQL数据
1、拷贝配置文件
cp config.properties.example config.properties
2、修改配置文件
producer=kafka kafka.bootstrap.servers=hadoop102:9092,hadoop103:9092,hadoop104:9092 #需要添加 kafka_topic=ods_base_db_m # mysql login info host=hadoop102 user=maxwell password=000000 #需要添加 初始化会用 client_id=maxwell_1
注意：
- 默认还是输出到指定 Kafka 主题的一个 kafka 分区，因为多个分区并行可能会打乱 binlog 的顺序
- 如果要提高并行度，首先设置 kafka 的分区数>1,然后设置 producer_partition_by 属性
- producer_partition_by=database|table|primary_key|random| column
3、启动maxwell
/opt/module/maxwell-1.25.0/bin/maxwell --config /opt/module/maxwell-1.25.0/config.properties
4、启动kafka消费客户端（前提先启动zookeeper）
bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic ods_base_db_m
5、操作数据库，发现消费者消费的信息
