欢迎访问 生活随笔!

生活随笔

当前位置: 首页 > 编程语言 > python >内容正文

python

python3.x pool.map方法的实质

发布时间:2025/3/20 python 32 豆豆
生活随笔 收集整理的这篇文章主要介绍了 python3.x pool.map方法的实质 小编觉得挺不错的,现在分享给大家,帮大家做个参考.

我使用多进程的一般方式,都是multiprocessing模块中的Pool.map()方法。下面写一个简单的示例和解析。至于此种方法使用多进程的效率问题,还希望大佬予以指正。

示例:

""" 探索pool.map多进程执行方式的实质 """from multiprocessing import Pool from time import sleep from datetime import datetimeclass forMap:def __init__(self):self.name = '没啥用的初始化'def forPrinit(self, i):sleep(i)print(i)return i ** 2

基本的代码已经写好,下面看看怎么使用多进程去执行。

执行示例1:

''' 遇到问题没人解答?小编创建了一个Python学习交流QQ群:531509025 寻找有志同道合的小伙伴,互帮互助,群里还有不错的视频学习教程和PDF电子书! ''' if __name__ == '__main__':s = datetime.now()tt = forMap()# 进程池中创建两个进程,调用计算机的两个内核去帮我做事。p = Pool(2)l = [2, 4, 6]rList = p.map(tt.forTest, l)print(rList)p.close()p.join()e = datetime.now()print('多进程执行时间:', e - s)

运行结果:

2 4 6 [4, 16, 36] 多进程执行时间: 0:00:08.191251

由于在进程池中创建了两个进程,所以代码会调用计算机的两个内核。而列表l中的三个元素中的前两个(“2”和“4”),会依次传入函数中,由计算机内核A和B去执行。当某一个内核执行完,会继续接收下一个传入参数“6”函数。而且内核A执行的函数,只会sleep两秒,所以,传入参数“6”的函数会由内核A去执行。所以A一共执行了2 + 6 为8秒,又由于是并行,所以总的执行时间是8秒(多的那零点几是初始化、赋值、打印等操作)。

执行示例2:

''' 遇到问题没人解答?小编创建了一个Python学习交流QQ群:531509025 寻找有志同道合的小伙伴,互帮互助,群里还有不错的视频学习教程和PDF电子书! ''' if __name__ == '__main__':s = datetime.now()tt = forMap()# 进程池中创建三个进程p = Pool(3)l = [2, 4, 6]rList = p.map(tt.forTest, l)print(rList)p.close()p.join()e = datetime.now()print('多进程执行时间:', e - s)

执行结果:

2 4 6 [4, 16, 36] 多进程执行时间: 0:00:06.273263

创建了三个进程 ,并行执行,所以执行时间是6秒

执行示例3:

''' 遇到问题没人解答?小编创建了一个Python学习交流QQ群:531509025 寻找有志同道合的小伙伴,互帮互助,群里还有不错的视频学习教程和PDF电子书! ''' if __name__ == '__main__':s = datetime.now()tt = forMap()# 进程池中创建三个进程p = Pool(3)l = [2, 4, 6, 8]rList = p.map(tt.forTest, l)print(rList)p.close()p.join()e = datetime.now()print('多进程执行时间:', e - s)

执行结果:

2 4 6 8 [4, 16, 36, 64] 多进程执行时间: 0:00:10.211451

在列表中添加一个元素,首先内核A、B、C分别执行2, 4, 6。A先结束,所以8也会由A来执行。

执行示例4:

if __name__ == '__main__':s = datetime.now()tt = forMap()# 进程池中创建三个进程p = Pool(2)l = [2, 4, 8, 6]rList = p.map(tt.forTest, l)print(rList)p.close()p.join()e = datetime.now()print('多进程执行时间:', e - s)

执行结果:

2 4 8 6 [4, 16, 64, 36] 多进程执行时间: 0:00:10.200389

还是创建两个进程,将列表中第3和第4个元素交换位置,执行结果为10秒多,而且返回值也是交换过位置之后的,说明map方法中,可迭代对象传入函数是从前到后逐个提取元素。

总结

以上是生活随笔为你收集整理的python3.x pool.map方法的实质的全部内容,希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错,欢迎将生活随笔推荐给好友。