栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

大数据多处理

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

大数据多处理

这听起来像是队列的理想用例:http :
//docs.python.org/2/library/multiprocessing.html#exchanging-objects-between-
processes

只需将结果从汇集的工作人员输入队列中,然后将其摄入主服务器即可。

请注意,除非排干队列的速度几乎与工人填充队列的速度一样快,否则您仍然可能会遇到内存压力问题。您可以限制队列大小(队列中可容纳的最大对象数),在这种情况下,池化工作器将阻塞

queue.put
语句,直到队列中有可用空间为止。这将限制内存使用量。
但是, 如果执行此操作,则可能是时候重新考虑是否需要全部池化和/或使用更少的工作程序是否有意义。



转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/639604.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号