因此,Docker或Elastic都不是问题。回顾一下,在本地通过Elasticsearch设置抛出PUT请求的相同脚本可以正常工作,但是在使用数千个文档(20k)后,使用Elasticsearch抛出容器时失败。请注意,文件总数大约为80万。
那么,发生了什么事?当您设置在本地主机上运行的somethig并向其发出请求(在本例中为PUT请求)时,该请求将通过回送接口。实际上,这意味着不会建立任何TCP连接,从而使速度大大提高。
设置Docker容器时,端口已绑定到主机。尽管脚本仍在所需端口上向localhost发出请求,但仍通过docker0接口在主机和Docker容器之间创建了TCP连接。这是以两件事为代价的:
- 建立TCP连接的时间
- TIME_WAIT状态
这实际上是一个更现实的情况。我们在另一台机器上安装了Elasticsearch,并进行了完全相同的测试,并得到了预期的相同结果。
问题在于我们正在发送请求,并为每个请求创建一个新的连接。由于TCP的工作方式,无法立即关闭连接。这意味着我们将使用所有可用的连接,直到没有连接可用为止,因为创建速率高于实际的关闭速率。
解决此问题的三个建议:
- 偶尔暂停一次请求。也许每X个请求都会hibernate,以使TIME_WAIT通过并关闭连接
- 发送
Connection: close
标头:选项,以使发送方在响应完成后发出将关闭连接的信号。 - 重用连接。
我最终选择了选项3),并重写了我的同事的脚本并重新使用了相同的TCP连接。



