栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

线程和多处理模块之间有什么区别?

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

线程和多处理模块之间有什么区别?

什么朱利奥·佛朗哥说,对于多线程多处理与真 一般

但是,Python
*还有一个问题:有一个全局解释器锁,可以防止同一进程中的两个线程同时运行Python代码。这意味着,如果您有8个内核,并且将代码更改为使用8个线程,它将无法使用800%的CPU并无法以8倍的速度运行;它会使用相同的100%CPU,并以相同的速度运行。(实际上,它的运行速度会稍慢一些,因为即使您没有任何共享数据,线程处理也会带来额外的开销,但现在暂时忽略它。)

也有例外。如果代码的繁重计算实际上不是在Python中发生,而是在某些具有自定义C代码且可以正确执行GIL处理的库中(例如numpy应用程序),那么线程将为您带来预期的性能收益。如果繁重的计算是由您运行并等待的某个子进程完成的,则情况也是如此。

更重要的是,在某些情况下,这无关紧要。例如,网络服务器花费大部分时间来读取网络上的数据包,而GUI应用花费大部分时间来等待用户事件。在网络服务器或GUI应用程序中使用线程的原因之一是允许您执行长时间运行的“后台任务”,而又不会阻止主线程继续为网络数据包或GUI事件提供服务。这在Python线程上工作得很好。(从技术上讲,这意味着Python线程为您提供了并发性,即使它们没有为您提供核心并行性。)

但是,如果您使用纯Python编写受CPU约束的程序,则使用更多线程通常无济于事。

对于GIL,使用单独的进程没有这种问题,因为每个进程都有自己的单独的GIL。当然,与其他语言相比,线程和进程之间仍然具有所有相同的权衡关系–在进程之间共享数据比在线程之间共享更加困难,而且成本更高,运行大量进程或创建和销毁这些开销可能会很高它们经常出现,等等。但是GIL在处理方面的平衡上占了很大比重,对于C或Java而言,这是不正确的。因此,与使用C或Java相比,您会发现在Python中使用多处理的频率更高。


同时,Python的“包含电池”理念带来了一些好消息:编写代码很容易,只需进行一次更改即可在线程和进程之间来回切换。

如果您根据独立的“作业”来设计代码,除了输入和输出,这些作业不与其他作业(或主程序)共享任何内容,则可以使用该

concurrent.futures
库在线程池周围编写代码,如下所示:

with concurrent.futures.ThreadPoolExecutor(max_workers=4) as executor:    executor.submit(job, argument)    executor.map(some_function, collection_of_independent_things)    # ...

您甚至可以获取这些作业的结果,并将其传递给其他作业,按执行顺序或完成顺序等待操作;等等。阅读有关

Future
对象的部分以获取详细信息。

现在,如果事实证明您的程序一直在使用100%CPU,并且添加更多线程只会使其速度变慢,那么您就遇到了GIL问题,因此您需要切换到进程。您要做的就是更改第一行:

with concurrent.futures.ProcessPoolExecutor(max_workers=4) as executor:

唯一真正的警告是,作业的自变量和返回值必须可腌制(而不需要花费太多时间或内存来腌制)才能使用跨流程。通常这不是问题,但有时是问题。


但是,如果您的工作不能自给自足怎么办?如果您可以根据 将消息 从一个 传递
到另一个的工作来设计代码,那仍然很容易。您可能必须使用

threading.Thread
multiprocessing.Process
代替依赖池。并且您将必须显式创建
queue.Queue
multiprocessing.Queue
对象。(还有很多其他选择,例如管道,套接字,带有斑点的文件等等。但是,要点是,如果执行器的自动魔力不足,则必须手动执行
某些 操作。)

但是,如果您甚至不能依靠消息传递怎么办?如果您需要两个作业来同时改变同一个结构并看到彼此的更改,该怎么办?在这种情况下,您将需要进行手动同步(锁定,信号量,条件等),并且,如果要使用进程,则需要显式的共享内存对象进行引导。这是多线程(或多处理)变得困难的时候。如果可以避免,那就太好了;如果不能,那么您将需要阅读的内容超过某人可以提供的答案。


通过评论,您想了解Python中的线程和进程之间的区别。的确,如果您阅读了朱利奥·佛朗哥(Giulio
Franco)的答案和我的知识以及我们所有的链接,那应该涵盖了所有内容……但是总结肯定会很有用,所以这里是:

  1. 线程默认共享数据;流程没有。
  2. 作为(1)的结果,在进程之间发送数据通常需要对其进行酸洗和酸洗。**
  3. (1)的另一个结果是,在进程之间直接共享数据通常需要将其放入低级格式,如Value,Array和
    ctypes
    Types。
  4. 流程不受GIL约束。
  5. 在某些平台(主要是Windows)上,创建和销毁进程的成本要高得多。
  6. 对流程有一些额外的限制,其中某些限制在不同平台上有所不同。有关详细信息,请参见编程指南。
  7. threading
    模块不具有该模块的某些功能
    multiprocessing
    。(您可以使用
    multiprocessing.dummy
    大多数缺少的API放在线程顶部,也可以使用更高级别的模块,例如
    concurrent.futures
    ,不必担心。)

*出现此问题的实际上不是Python,而是该语言的“标准”实现CPython。其他一些实现没有JIL,例如Jython。

**如果您正在使用fork
start方法进行多处理(在大多数非Windows平台上可以使用),则每个子进程都将获得启动子级时父级拥有的任何资源,这可能是将数据传递给子级的另一种方式。



转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/624834.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号