栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

python3爬虫多线程运算是否更快?

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

python3爬虫多线程运算是否更快?

我们一直在讲多线程中的模块,想必大家也差不多可以进入我们的测试环节,也算是检验小伙伴们学了几天的成果。就以运算为例,我们都知道肯定是计算所需的时间越少越出色,那么多线程中的运算是否比其他的运算要快呢?这里需要小伙伴们跟着小编一起去探索,才能真切体会到运算的快乐,接下来直接进入正题:


多线程存在GIL(global interpret lock)。为了实现多线程功能,程序把线程锁住,然后锁住了之后,只有唯一一个线程运算。Python只能够让线程在同一时间运算一个东西。在不停切换,看起来是多线程的。但实际上不是。

import threading
from queue import Queue
import copy
import time
 
def job(lists, q):
    res = sum(lists)
    q.put(res)
    
def multi_theading(lists):
    q = Queue()
    threads = []
    for i in range(4):
        t = threading.Thread(target=job, args=(copy.copy(lists), q),
                             name = 'T%i'%i)
        t.start()
        threads.append(t)
    [t.join() for i in threads]
    total = 0
    for _ in range(4):
        total += q.get()
    print(total)
 
def normal(lists):
    # 完全不用多线程
    total = sum(lists)
    print(total)
 
if __name__ == '__main__':
    lists = list(range(1000000))
    s_t = time.time()
    normal(lists*4)
    print('Normal : ', time.time() - s_t)
    s_t = time.time()
    multi_theading(lists)
print('multi_threading : ', time.time() - s_t)

 

运行结果

1999998000000
Normal :  0.1705458164215088
1999998000000
multi_threading :  0.14860320091247559

不用多线程是 0.1705秒;用了多线程仅仅是稍微快了一点。

有些小伙伴习惯性的认为,小编所讲的知识点肯定是最具有优势的,其实不是这样的哦~所有的结论需要经过实验才能得出结论。更多Python学习指路:PyThon学习网教学中心。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/11816.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号