栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

Django多处理和数据库连接

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Django多处理和数据库连接

多重处理会在进程之间复制连接对象,因为它会分叉多个进程,因此会复制父进程的所有文件描述符。就是说,与SQL Server的连接只是一个文件,你可以在Linux的/ proc // fd / …下看到它。任何打开的文件将在分支的进程之间共享。

我的解决方案只是在启动进程之前关闭数据库连接,每个进程在需要连接时都会重新创建连接(在django 1.4中进行了测试):

from django import dbdb.connections.close_all()def db_worker():          some_paralell_pre()Process(target = db_worker,args = ())

Pgbouncer / pgpool在多处理的意义上没有与线程连接。这是不关闭每个请求连接的解决方案=在高负载下加快连接到postgres的速度。

更新:

要完全消除数据库连接问题,只需将与数据库连接的所有逻辑移至db_worker-我想将QueryDict作为参数传递…更好的主意是简单地传递ID列表…请参阅QueryDict和values_list(’id’,flat =是的),并且不要忘记将其列出!传递给db_worker之前列出(QueryDict)。因此,我们不会复制模型数据库连接。

def db_worker(models_ids): obj = PartModelWorkerClass(model_ids) # here You do Model.objects.filter(id__in = model_ids)    obj.run()model_ids = Model.objects.all().values_list('id', flat=True)model_ids = list(model_ids) # cast to listprocess_count = 5delta = (len(model_ids) / process_count) + 1# do all the db stuff here ...# here you can close db connectionfrom django import dbdb.connections.close_all()for it in range(0:process_count):    Process(target = db_worker,args = (model_ids[it*delta:(it+1)*delta]))   


转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/407799.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号