栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Nifi--从Mysql抛转数据到Elasticsearch

Nifi--从Mysql抛转数据到Elasticsearch

Nifi–从Mysql抛转数据到Elasticsearch 1. 概览

2. QueryDatabaseTable

    SCHEDULING —> Run Schedule需要设置大一点,否则会频繁查询数据库;

    Database Connection Pooling Service 第一次创建没有连接池,可以新增一个DBCP连接池;

    创建连接池以后,点击右侧Go To按钮配置连接信息,包含:连接地址、驱动、驱动jar包地址、用户名、密码。配置完成后将状态置为Enable;

    Table Name 配置表名;Custom Query 配置查询语句;

      QueryDatabaseTable和PutElasticsearchRecord之间的连接(Connection)配置如下:

      连接创建成功后,如果是集群,Load Balance Strategy可以设置为轮询策略;

      Load Balance Compression可以配置为属性和内容加密传输;

3. PutElasticsearchRecord
    Index配置index名称,Type选填;Client Server 选择ElasticSearchClientServiceImpl,配置连接地址以后,设为Enable状态;

    Record Reader 选择AvroReader,因为QueryDatabaseTable读取的是avro格式,状态设为Enable

    Relationships 除了success以外都勾选,若想对其他情况单独处理也可以;

    PutElasticsearchRecord和LogAttribute之间的连接(Connection)勾选success

4. LogAttribute
    RelationShips勾选success
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/702011.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号