提示：通过celery执行大量爬虫任务。
问题描述
提示：celery 的 worker每运行半小时就会重启，python3.8.7 celery5.2.3 redis作为中间人
@celery_app.task(soft_time_limit=60) # time_limit 设置硬超时时间
def test(xxx):
...
原因分析：
提示：由于celery worker是在腾讯云集群上运行的，查看pod运行的资源监控图
pod limit设置为200Mi-800Mi，可以看到差不多半小时达到1000Mi后就pod就开始重启，内存泄漏应该就是造成pod不断重启的原因。
解决方案：
提示：1.google大法搜一搜，发现这个
不过是2013年的不知道还行不行。
2.再去celery github上看看
在issuess搜索oom,可以看到关于内存泄漏大量的bug反馈。
有说5.2.3已经修复了一个小泄漏（PS：看来还不是一个地方有问题），不过我们已经是最新版本了。再继续看看，发现这个
可以看到13年到18年这个问题竟然还存在,我们可以去掉这个软硬时间试试看。
@celery_app.task # 不再设置软硬超时时间
def test():
...
3.修改代码如上，更新到pod
运行一段时间后发现没有重启了，我们查看资源情况，如图
可以看到已经不会出现内存泄漏的问题。
