multiprocessing.Queue()和queue.Queue()的区别

Queue.Queue是进程内非阻塞队列，用于进程内的各函数模块或线程间通信。

multiprocess.Queue是跨进程通信队列。但是不能用于multiprocessing.Pool多进程的通信。

multiprocessing.Manager

进程池multiprocessing.Pool()的多进程之间的通信要用multiprocessing.Manager().Queue()

一个multiprocessing.Manager对象会控制一个服务器进程，其他进程可以通过代理的方式来访问这个服务器进程。从而达到多进程间数据通信且安全。

Manager支持的类型有list,dict,Namespace,Lock,RLock,Semaphore,BoundedSemaphore,Condition,Event,Queue,Value和Array。

个人理解：Manager()是一个中转站，用于把一些不能垮进程的对象共享给多进程。个人认为其效率不会很高。

多进程使用 multiprocessing.Queue通信

自己写了个简单的测试程序。
我担心multiprocessing.Queue同时有多个进程读或者多个进程写，是否是安全的，数据是否会串扰。经过测试我的担心是多余的。

另外我担心multiprocessing.Queue的效率问题。后来使用图片来测试，发现相比写磁盘，multiprocessing.Queue的效率要高很多。所以我决定采用multiprocessing.Queue来传输图片。

from multiprocessing import Process, Queue, Pool,Manager
import time, random, cv2# 写数据进程执行的代码
def write(q, w_cnt, index):print('write task:{}'.format(index))for num in range(w_cnt):q.put('write task-{}, cnt-{}'.format(index, num))print( 'write task:{} done'.format( index ) )# 读数据进程执行的代码
def read(q, read_cnt):cnt = 0while True:if not q.empty():value = q.get(True)print ('Get:[%s] from queue.' % value)cnt += 1if cnt >= read_cnt:breakif __name__=='__main__':r_num = 1  # 读进程的数量w_num = 20 # 写进程的数量w_cnt = 20 # 写进程循环的次数q = Queue(10)r_list = [Process( target=read, args=(q,w_num*w_cnt,) ) for i in range(r_num)]w_list = [Process( target=write, args=(q,w_cnt,i,) ) for i in range( w_num )]time_start = time.time()[task.start() for task in w_list][task.start() for task in r_list][task.join() for task in w_list][task.join() for task in r_list]time_used = time.time() - time_startprint('time_used:{}s'.format(time_used))

参考资料

multiprocessing.Queue()和queue.Queue()的区别

改善 Python 程序的 91 个建议（六）