栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

ELK设置https并使用Java代码连接

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

ELK设置https并使用Java代码连接

文章目录
  • 前提条件
  • 生成CA证书
  • 根据CA证书生成用于各个节点通信加密的证书
  • 为其他组件Kibana、Logstash生成证书
  • 配置elasticsearch.yml
  • 配置kibana.yml
  • 配置logstash.conf
  • Java代码使用HTTPS连接ES
    • 为什么使用ca.crt而不是官方推荐的ca.p12?
  • 官方文档

前提条件
  • 本地下载安装好Elasticsearch、Kibana、Logstash,并可以正常启动

  • 本文所使用的ELK的版本为8.2.0

  • Elasticsearch 8.2.0 版本,安装好之后会默认生成对应的http_ca.cert、transport.p12、http.12文件

生成CA证书

为什么这里是生成ca.crt而不是官方文档中的ca.p12文件呢?在Java代码那一节会说明

./bin/elasticsearch-certutil ca --days 3650 --pem --out ./tls/ca/ca.zip
unzip tls/ca/ca.zip

在ca目录下生成了ca.crt和ca.key文件

根据CA证书生成用于各个节点通信加密的证书

instances.yml文件

instances:
- name: elasticsearch
  dns:
  - localhost     # local connections
  ip:
  - 127.0.0.1     # local connections

执行命令

./bin/elasticsearch-certutil cert --ca-cert tls/ca/ca/ca.crt --ca-key tls/ca/ca/ca.key --in tls/instances.yml --days 3650 --out tls/certificate.zip

解压文件

unzip certificate.zip

解压成功之后会有一个elasticsearch.p12文件

相关官方文档

为其他组件Kibana、Logstash生成证书
./bin/elasticsearch-certutil http

根据提示输入第一步生成的ca.crt和ca.key,可以选择设置密码或者不设置密码

最终会生成一个elasticsearch-ssl-http.zip压缩文件

unzip elasticsearch-ssl-http.zip

解压之后为两个文件夹,分别有

elasticsearch-ca.pem和http.p12文件

elasticsearch和kibana,里面分别有一个README.txt告诉怎么用

相关官方文档

配置elasticsearch.yml

注意 上述所有生成过程的密码都是空

将上述生成的所有文件放到一个目录下,通常是$ES_INSTALL_HOME/config/certs,以下为elasticsearch.yml文件

# http mode下生成的文件
xpack.security.http.ssl.enabled: true
xpack.security.http.ssl.keystore.path: http.p12

# cert mode下生成的文件
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: elasticsearch.p12
xpack.security.transport.ssl.truststore.path: elasticsearch.p12

执行下列命令,具体命令的文档

# 密码问第三步生成http.p12时设置的密码
./bin/elasticsearch-keystore add xpack.security.http.ssl.truststore.secure_password

./bin/elasticsearch-keystore add xpack.security.http.ssl.keystore.secure_password

# 密码为第二步生成elasticsearch.p12文件时的设置的密码
./bin/elasticsearch-keystore add xpack.security.transport.ssl.keystore.secure_password

./bin/elasticsearch-keystore add xpack.security.transport.ssl.truststore.secure_password

每个命令都会让你输入密码,如果没有密码直接回车即可

注意 这里也可以将上述配置写到elasticsearch.yml文件里。但是由于elasticsearch刚安装的时候已经设置了password而不是secure_password。所以会启动不起来。

用命令行的方式应该会把password给覆盖掉

所有配置配置完毕之后,启动elasticsearch,观察是否正常启动

配置kibana.yml

将第三步生成的elasticsearch-ca.pem拷贝到$KIBANA_INSTALL_HOME/config文件夹下

# 将http 改为 https
elasticsearch.hosts: [ "https://localhost:9200" ]

elasticsearch.ssl.certificateAuthorities: [ "config/elasticsearch-ca.pem" ]

启动Kibana,观察是否正常启动

配置logstash.conf

将第三步生成的elasticsearch-ca.pem拷贝到$Logstash_INSTALL_HOME/config文件夹下

在具体的logstash配置文件中的output部分增加最后两行配置

output {
	elasticsearch {
		hosts => "localhost:9200"
		user => "elastic"
		password => "password"
		# 添加ssl配置
		ssl => true
		cacert => "config/elasticsearch-ca.pem"
	}
}

启动logstash,观察是否正常启动

Java代码使用HTTPS连接ES

截止到这部分,ELK能正常启动不全部配置了TLS。现在在Java代码里使用HTTPS连接ES.

相关官方文档

为什么使用ca.crt而不是官方推荐的ca.p12?

因为JDK8对于.p12文件的解析存在问题。据我Google,如果要使用.p12文件进行连接,JDK版本至少是11才可以,不过我没试过,所以在JDK8的环境里,我推荐使用ca.crt文件

@Configuration
public class ElasticSearchConfiguration {
    
    @Bean
    @SneakyThrows
    public ElasticsearchClient elasticsearchClient() {
        CredentialsProvider credentialsProvider =
            new BasicCredentialsProvider();
        credentialsProvider.setCredentials(AuthScope.ANY,
            new UsernamePasswordCredentials("elastic", "password"));
//        第一步生成的证书所在的位置
        Path caCertificatePath = Paths.get("/elastic_install_home/config/ca.crt");
        CertificateFactory factory =
            CertificateFactory.getInstance("X.509");
        Certificate trustedCa;
        try (InputStream is = Files.newInputStream(caCertificatePath)) {
            trustedCa = factory.generateCertificate(is);
        }
        KeyStore trustStore = KeyStore.getInstance("pkcs12");
        trustStore.load(null, null);
        trustStore.setCertificateEntry("ca", trustedCa);
        SSLContextBuilder sslContextBuilder = SSLContexts.custom()
            .loadTrustMaterial(trustStore, null);
        SSLContext sslContext = sslContextBuilder.build();
        RestClientBuilder builder = RestClient.builder(
            new HttpHost("localhost", 9200, "https"))
            .setHttpClientConfigCallback(httpClientBuilder -> httpClientBuilder
                // 设置ssl
                .setSSLContext(sslContext)
                .setDefaultCredentialsProvider(credentialsProvider));
        RestClient restClient = builder.build();
        ElasticsearchTransport elasticsearchTransport = new RestClientTransport(restClient, new JacksonJsonpMapper());
        return new ElasticsearchClient(elasticsearchTransport);
    }
}

写一个Test Case验证下即可。

到此为止,为Elasticsearch启动TLS并使用Java代码连接就完毕了。

强烈建议把下面的官方文档通读一边,尤其是第一次配置的同学,里面的步骤基本很详细了。而且也更详细介绍了各个配置的作用、目的。

官方文档
  • https://www.elastic.co/guide/en/elasticsearch/reference/current/certutil.html
  • https://www.elastic.co/guide/en/elasticsearch/reference/current/elasticsearch-keystore.html
  • https://www.elastic.co/guide/en/elasticsearch/reference/current/security-basic-setup.html#encrypt-internode-communication
  • https://www.elastic.co/guide/en/elasticsearch/reference/current/security-basic-setup-https.html
  • https://www.elastic.co/guide/en/elasticsearch/client/java-api-client/current/_encrypted_communication.html
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/937554.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号