本文實例講述了Python multiprocessing多進程原理與應用。分享給大家供大家參考,具體如下:
multiprocessing包是Python中的多進程管理包,可以利用multiprocessing.Process對象來創建進程,Process對象擁有is_alive()、join([timeout])、run()、start()、terminate()等方法。
multprocessing模塊的核心就是使管理進程像管理線程一樣方便,每個進程有自己獨立的GIL,所以不存在進程間爭搶GIL的問題,在多核CPU環境中,可以大大提高運行效率。
multiprocessing使用示例:
import multiprocessingimport timeimport cv2def daemon1(image):  name = multiprocessing.current_process().name  for i in range(50):    image = cv2.GaussianBlur(image, (3, 3), 1)    time.sleep(0.1)  print 'daemon1 done!'  cv2.imshow('daemon1', image)def daemon2(image):  name = multiprocessing.current_process().name  for i in range(50):    image = cv2.GaussianBlur(image, (3, 3), 1)    time.sleep(0.5)  print 'daemon2 done!'  cv2.imshow('daemon2', image)if __name__ == '__main__':  t1 = time.time()  number_kernel = multiprocessing.cpu_count()  print 'We have {0} kernels'.format(number_kernel)  p1 = multiprocessing.Process(name='daemon1',                target=daemon1,args= (cv2.imread('./p1.jpg'),))  p1.daemon = False  p2 = multiprocessing.Process(name='daemon2',                target=daemon2, args=(cv2.imread('./p2.jpg'),))  p2.daemon = False  p1.start()  p2.start()  print 'p1 is {0}'.format(p1.is_alive())  p1.terminate()  p1.join()  print 'p1 is {0}'.format(p1.is_alive())  print 'p2 is {0}'.format(p2.is_alive())  p2.join()  t2 = time.time()  print '!!!!!!!!!!!!!!!!!!!!OK!!!!!!!!!!!!!!!!!!!!!'  print 'total time is {0}'.format(t2-t1)  print 'p1.exitcode = {0}'.format(p1.exitcode)  print 'p2.exitcode = {0}'.format(p2.exitcode)multiprocessing中Process是一個類,用于創建進程,以及定義進程的方法,Process類的構造函數是:
def __init__(self, group=None, target=None, name=None, args=(), kwargs={})參數含義:
group:進程所屬組,基本不用 target: 創建進程關聯的對象,需要傳入要多進程處理的函數名 name: 定義進程的名稱 args: 表示與target相關聯的函數的傳入參數,可以傳入多個,注意args是一個元組,如果傳入的參數只有一個,需要表示為 args = (element1,) kwargs: 表示調用對象的字典程序解讀:
multiprocessing.cpu_count(): 返回機器上cpu核的總數量 p1.daemon = False : 定義子進程的運行屬性,如果 .daemon設置為False表示子進程可以在主進程完成之后繼續執行; 如果 .daemon設置為True,表示子進程隨著主進程的結束而結束;必須在start之前設置; p1.start(): 開始執行子進程p1 p1.join(): 定義子進程p1的運行阻塞主進程,只有p1子進程執行完成之后才會繼續執行join之后的主進程,但是子進程間互相不受join影響。 可以定義子進程阻塞主進程的時間--p1.join(100),超時之后,主進程不再等待,開始執行。join()需要放在start()方法之后; p1.terminate():終止子進程的執行,其后要跟上jion()方法更新子進程的狀態; p1.exitcode: 進程的退出狀態: == 0 未生成任何錯誤,正常退出; > 0 進程有一個錯誤,并以該錯誤碼退出; <0 進程由一個-1 * exitcode信號結束新聞熱點
疑難解答