Nifi安装教程

Nifi安装教程

1.下载安装包2.解压3.启动4.生成文件

4.1生成文件4.2移动文件4.3修改配置文件 5.访问nifi6.身份认证

6.1配置LDAP6.2login-identity-provider.xml6.3检查配置是否成功 7.权限认证

7.1UserGroupProvider7.2AccessPolicyProvider7.3编辑nifi.properties7.4登录nifi 8.集群

8.1修改配置文件8.2启动三台机器 9.安装Registry

9.1下载9.2安装9.3安全认证9.4开启Registry9.5登录UI9.6添加用户9.7授权9.8创建Bucket9.9Buccket授权 10.Nifi连接Registry11.报警

1.下载安装包

1.下载Nifi
下载链接: https://nifi.apache.org/download.html.
2.下载Toolkit
下载链接: https://nifi.apache.org/download.html.

2.解压

// 解压
tar -zxvf  nifi-1.15.3-bin.tar.gz ( asc, sha256, sha512 )
tar -zxvf  nifi-toolkit-1.15.3-bin.tar.gz ( asc, sha256, sha512 )

3.启动

1.进入nifi的bin目录下：
./bin/nifi.sh start

2.修改配置文件。默认端口8443
在nifi/conf/nifi.properties里的nifi.web.http.port=#####

4.生成文件 4.1生成文件

1.进入一台机器的toolkit主目录下，执行以下CMD:

/bin/tls-toolkit.sh standalone -n '域名1' -O -S '替换成你想设置的truststore密码' -P '设置一个keystore密码'
/bin/tls-toolkit.sh standalone -n '域名2' -O -S '替换成你想设置的truststore密码' -P '设置一个keystore密码'
/bin/tls-toolkit.sh standalone -n '域名3' -O -S '替换成你想设置的truststore密码' -P '设置一个keystore密码'

2.根据你提供的域名生成以域名为名字的目录，里面的文件有Keystore.jks,Truststore.jks,Nifi.properties。三个域名，所以在同一个机器生产三次

4.2移动文件

刚刚生产的Keystore.jks,Truststore.jks,Nifi.properties分别移动到对应域名的机器下，放到Nifi主目录的conf下（注：在./conf路径下已经有nifi.properties尚未配置，所以可以覆盖）

4.3修改配置文件

进入nifi主目录，在进入/conf目录下，编辑nifi.properties

#指向toolkit生成truststore.jks绝对路径
nifi.security.truststore=truststore.jks
#指向toolkit生成keystore.jk绝对路径
nifi.security.keystore=keystore.jk

5.访问nifi

浏览器中输入https//域名:port/nifi

6.身份认证

每一台机器都是一样的

6.1配置LDAP

编辑CMD:vi nifi.properties
nifi.security.user.login.identity.provider=ldap-provider

6.2login-identity-provider.xml

在NIFI主目录下，编辑CMD:vi /conf/login-identity-provider.xml

ldap-provider
SIMPLE
真实的DN ，例如：CN=SRV-ADDService,OU=Service,OU=Users,OU=TWTP1,OU=TW,OU=XXX,DC=XXX,DC=corp 
真实的密码
ldap://真实的IP:PORT
 #其他不用修改的配置信息已经省略
例如OU=XXX,DC=XXXX,DC=corp 
sAMAccountName={0}
person
USE_USERNAME
注：这部分内容默认被注释，记得打开！

6.3检查配置是否成功

1.启动：CMD:./bin/nifi.sh start

2.打开浏览器，访问https//域名:port/nifi

3.出现如下画面，输入账密

4.通过验证

7.权限认证

权限认证由UserGroupProvider和AccessPolicyProvider组成

7.1UserGroupProvider

NIFI主目录下，编辑authorizers.xml的CMD：vi ./conf/authorizers.xml

file-user-group-provider
org.apache.nifi.authorization.FileUserGroupProvider
Tomcat
域名1@NIFI
域名2@NIFI
域名3@NIFI
# OU前有空格
CN=域名1, OU=NIFI
CN=域名2, OU=NIFI
CN=域名3, OU=NIFI

7.2AccessPolicyProvider

NIFI主目录下，编辑authorizers.xml的CMD：vi ./conf/authorizers.xml

file-access-policy-provider
   #初次登入时，要设置一个管理员身份才可以进入NIFI，然后可以在NIFI的UI里设置其他用户的权限
Tomcat

域名1@NIFI
域名2@NIFI
域名3@NIFI
#下面有OU前都有一个空格
CN=域名1, OU=NIFI
CN=域名2, OU=NIFI
CN=域名3, OU=NIFI 

7.3编辑nifi.properties

编辑CMD:vi nifi.properties

//加以下信息到文末,OU前有空格:
nifi.security.identity.mapping.value.dn=$1@$2
nifi.security.identity.mapping.pattern.dn=^CN=(.*?), OU=(.*?)$

7.4登录nifi

1.使用设定的管理员身份登录

2.出现如下画面，表示认证完成

3.添加其他用户和授权，具体页面如下

8.集群

接下来的步骤在每台机器的操作一样，这里只以一台作示范

8.1修改配置文件

1.配置Zookeeper集群
编辑CMD：vi ./conf/nifi.properties

//该属性值应填写外部ZOOKEEPER组件的实际域名:PORT
nifi.zookeeper.connect.string=machine001:2181,chine002:2181,machine003:2181

2.配置state-management.xml
编辑CMD：vi conf/state-management.xml

//该属性值应填写外部ZOOKEEPER组件的实际IP:PORT
machine01:2181,machine02:2181,machine03:2181

8.2启动三台机器

9.安装Registry

一个用于存储和管理共享资源的子项目

9.1下载

下载地址: https://nifi.apache.org/registry.html.

目前使用这个nifi-registry-0.5.0-bin.tar.gz ( asc, sha256, sha512 )

9.2安装

tar -zxvf nifi-registry-0.5.0-bin.tar.gz (asc, sha256, sha512)

9.3安全认证

1.nifi-registry主目录下的conf目录
CMD:vi nifi-registry.properties

# security properties #
nifi.registry.security.keystore=
nifi.registry.security.keystoreType=
nifi.registry.security.keystorePasswd=
nifi.registry.security.keyPasswd=
nifi.registry.security.truststore=
nifi.registry.security.truststoreType=
nifi.registry.security.truststorePasswd= 
#默认空，填写false
nifi.registry.security.needClientAuth=false
#默认空，填ldap-identity-provider
nifi.registry.security.identity.provider=ldap-identity-provider
#默认不为空，设置为空
nifi.registry.web.http.port=
#填本机hostname和任意一个没被占用的PORT，如9993
nifi.registry.web.https.host=hostname
nifi.registry.web.https.port=PORT

2.编辑authorizers.xml

    file-user-group-provider
org.apache.nifi.registry.security.authorization.file.FileUserGroupProvider
    ./conf/users.xml
    xxx
 
#同上一致

    file-access-policy-provider
    xxx    

3.编辑identity-providers.xml3. 编辑identity-providers.xml

 
    ldap-identity-provider
    SIMPLE
    CN=SRV-ADDServi,OU=Service,OU=Users,OU=TWTP1,OU=TW,OU=xxx,DC=xxx,DC=corp
    密码/property>
    ldap的URL
    OU=xxx,DC=xxxx,DC=corp
    sAMAccountName={0}
    USE_USERNAME

注：这部分内容默认有注释，记得打开

9.4开启Registry

进入REGISTRY的主目录下，然后进入bin，
nifi-registry.sh start

9.5登录UI

https:// 本机ip:刚刚配置的registry的port /nifi-registry
如https:// hostname:port/nifi-registry/

9.6添加用户

注：必须加CN=域名1/域名2/域名3, OU=NIFI共三个用户，其它的用户看需求添加

9.7授权

9.8创建Bucket

9.9Buccket授权

10.Nifi连接Registry

登录Nifi UI界面进行操作

11.报警

待定