多進程

在本章中，我們將更多地關(guān)注多處理和多線程之間的比較。

多進程

在一臺計算機系統(tǒng)中使用兩個或多個CPU單元。 通過利用計算機系統(tǒng)中可用的全部CPU核心，這是最好的方法來充分利用我們的硬件。

多線程

這是CPU通過同時執(zhí)行多個線程來管理操作系統(tǒng)使用的能力。 多線程的主要思想是通過將進程分成多個線程來實現(xiàn)并行性。

下表顯示了它們之間的一些重要區(qū)別 -

消除全局解釋器鎖定(GIL)的影響

在使用并發(fā)應(yīng)用程序時，Python中存在一個名為GIL(全局解釋器鎖)的限制。 GIL從來不允許我們利用CPU的多個內(nèi)核，因此可以說Python中沒有真正的線程。 GIL是互斥鎖 - 互斥鎖，它使線程安全。 換句話說，可以說GIL阻止了多個線程并行執(zhí)行Python代碼。鎖一次只能由一個線程保存，如果想執(zhí)行一個線程，那么它必須先獲取鎖。

通過使用多處理，可以通過GIL有效地繞過 -

• 通過使用多處理，利用多個進程的能力，因此使用GIL的多個實例。
• 由于這個原因，在程序中一次執(zhí)行一個線程的字節(jié)碼沒有限制。

在Python中啟動進程

可以使用以下三種方法在多處理模塊內(nèi)用Python啟動進程 -

• Fork
• Spawn
• Forkserver

使用Fork創(chuàng)建一個流程
Fork命令是在UNIX中找到的標準命令。 它用于創(chuàng)建稱為子進程的新進程。 此子進程與稱為父進程的進程同時運行。 這些子進程也與其父進程相同，并繼承父進程可用的所有資源。 使用Fork創(chuàng)建流程時使用以下系統(tǒng)調(diào)用 -

• fork() - 這是一個通常在內(nèi)核中實現(xiàn)的系統(tǒng)調(diào)用，它用于創(chuàng)建進程的副本。
• getpid() - 該系統(tǒng)調(diào)用返回調(diào)用進程的進程ID(PID)。

示例
以下Python腳本示例將演示如何創(chuàng)建新的子進程并獲取子進程和父進程的PID -

import os

def child():
   n = os.fork()

   if n > 0:
      print("PID of Parent process is : ", os.getpid())

   else:
      print("PID of Child process is : ", os.getpid())
child()

執(zhí)行上面示例代碼，得到以下結(jié)果 -

PID of Parent process is : 25989
PID of Child process is : 25990

用Spawn創(chuàng)建一個進程

Spawn意味著開始新的事物。 因此，產(chǎn)生一個過程意味著父過程創(chuàng)建一個新進程。 父進程異步繼續(xù)執(zhí)行或等待子進程結(jié)束其執(zhí)行。 按照這些步驟產(chǎn)生一個進程 -

• 導(dǎo)入多處理模塊。
• 創(chuàng)建對象進程。
• 通過調(diào)用start()方法來啟動進程活動。
• 等待進程完成其工作并通過調(diào)用join()方法退出。

示例

以下Python腳本示例產(chǎn)生三個進程 -

import multiprocessing

def spawn_process(i):
   print ('This is process: %s' %i)
   return

if __name__ == '__main__':
   Process_jobs = []
   for i in range(3):
   p = multiprocessing.Process(target = spawn_process, args = (i,))
      Process_jobs.append(p)
   p.start()
   p.join()

執(zhí)行上面示例代碼，得到以下結(jié)果 -

This is process: 0
This is process: 1
This is process: 2

使用Forkserver創(chuàng)建一個進程

Forkserver機制僅適用于那些支持通過Unix Pipes傳遞文件描述符的所選UNIX平臺。 考慮以下幾點來理解Forkserver機制的工作 -

• 服務(wù)器通過使用Forkserver機制來啟動新進程。
• 然后服務(wù)器接收命令并處理創(chuàng)建新進程的所有請求。
• 要創(chuàng)建一個新的進程，python程序會向Forkserver發(fā)送一個請求，之后它會創(chuàng)建一個進程。
• 最后，我們可以在程序中使用這個新創(chuàng)建的進程。

守護進程如何在Python中進行處理

Python多處理模塊允許通過它的守護進程選項來守護進程。 守護進程或在后臺運行的進程遵循與守護進程線程類似的概念。 要在后臺執(zhí)行該進程，需要將守護進程標志設(shè)置為true。 只要主進程正在執(zhí)行，守護進程將繼續(xù)運行，并在完成執(zhí)行或主程序被終止后終止進程。

示例

在這里，我們使用與守護進程線程中使用的相同的示例。 唯一的區(qū)別是模塊從多線程更改為多處理，并將守護標志設(shè)置為true。 但是，如下所示，輸出結(jié)果會發(fā)生變化 -

import multiprocessing
import time

def nondaemonProcess():
   print("starting my Process")
   time.sleep(8)
   print("ending my Process")
def daemonProcess():
   while True:
   print("Hello")
   time.sleep(2)
if __name__ == '__main__':
   nondaemonProcess = multiprocessing.Process(target = nondaemonProcess)
   daemonProcess = multiprocessing.Process(target = daemonProcess)
   daemonProcess.daemon = True
   nondaemonProcess.daemon = False
   daemonProcess.start()
   nondaemonProcess.start()

執(zhí)行上面示例代碼，得到以下結(jié)果 -

starting my Process
ending my Process

輸出與守護進程線程生成的輸出相比是不同的，因為沒有守護進程模式的進程有輸出。 因此，主程序結(jié)束后，守護進程會自動結(jié)束以避免運行進程的持久性。

在Python中終止進程

可以使用terminate()方法立即終止或終止一個進程。 在完成執(zhí)行之前，我們將使用此方法來終止在函數(shù)的幫助下創(chuàng)建的子進程。

例子

import multiprocessing
import time
def Child_process():
   print ('Starting function')
   time.sleep(5)
   print ('Finished function')
P = multiprocessing.Process(target = Child_process)
P.start()
print("My Process has terminated, terminating main thread")
print("Terminating Child Process")
P.terminate()
print("Child Process successfully terminated")

輸出結(jié)果 -

My Process has terminated, terminating main thread
Terminating Child Process
Child Process successfully terminated

該輸出顯示程序在執(zhí)行使用Child_process()函數(shù)創(chuàng)建的子進程之前終止。 這意味著子進程已成功終止。

在Python中識別當前進程

操作系統(tǒng)中的每個進程都具有稱為PID的進程標識。 在Python中，可以借助以下命令找出當前進程的PID -

import multiprocessing
print(multiprocessing.current_process().pid)

例子
以下Python腳本示例用于找出主進程的PID以及子進程的PID -

import multiprocessing
import time
def Child_process():
   print("PID of Child Process is: {}".format(multiprocessing.current_process().pid))
print("PID of Main process is: {}".format(multiprocessing.current_process().pid))
P = multiprocessing.Process(target=Child_process)
P.start()
P.join()

執(zhí)行上面示例代碼，得到以下結(jié)果 -

PID of Main process is: 9401
PID of Child Process is: 9402

在子類中使用進程

可以通過對threading.Thread類進行子分類來創(chuàng)建線程。 另外，還可以通過對multiprocessing.Process類進行子分類來創(chuàng)建流程。 要在子類中使用流程，需要考慮以下幾點 -

• 需要定義一個Process類的新子類。
• 需要覆蓋_init_(self [，args])類。
• 需要重寫run(self [，args])方法來實現(xiàn)Process類
• 需要通過調(diào)用start()方法來啟動進程。

參考以下代碼 -

import multiprocessing
class MyProcess(multiprocessing.Process):
   def run(self):
   print ('called run method in process: %s' %self.name)
   return
if __name__ == '__main__':
   jobs = []
   for i in range(5):
   P = MyProcess()
   jobs.append(P)
   P.start()
   P.join()

執(zhí)行上面示例代碼，得到以下代碼-

called run method in process: MyProcess-1
called run method in process: MyProcess-2
called run method in process: MyProcess-3
called run method in process: MyProcess-4
called run method in process: MyProcess-5

Python多處理模塊 - Pool類

如果在Python應(yīng)用程序中討論簡單的并行處理任務(wù)，那么多處理模塊提供了Pool類。 下面的Pool類方法可以用來在主程序中創(chuàng)建多個子進程。

apply()方法
該方法與ThreadPoolExecutor的submit()方法類似，直到結(jié)果準備就緒。

apply_async()方法
當需要并行執(zhí)行任務(wù)時，需要使用apply_async()方法將任務(wù)提交給池。 這是一個異步操作，直到執(zhí)行完所有的子進程之后才會鎖定主線程。

map()方法
就像apply()方法一樣，它也會阻塞直到結(jié)果準備就緒。 它相當于內(nèi)置的map()函數(shù)，它將多個塊中的可迭代數(shù)據(jù)分開并作為單獨的任務(wù)提交給進程池。

map_async()方法
它是map()方法的一個變體，apply_async()是apply()方法的變體。 它返回一個結(jié)果對象。 當結(jié)果準備就緒時，就會應(yīng)用一個可調(diào)用對象。 可調(diào)用函數(shù)必須立即完成; 否則，處理結(jié)果的線程將被阻止。

例子

以下示例實現(xiàn)執(zhí)行并行執(zhí)行的進程池。 通過multiprocessing.Pool方法應(yīng)用square()函數(shù)，可以簡單計算數(shù)字的平方。 然后使用pool.map()提交5，因為輸入是從0到4的整數(shù)列表。結(jié)果將被存儲在p_outputs中并被打印輸出結(jié)果 -

def square(n):
   result = n*n
   return result
if __name__ == '__main__':
   inputs = list(range(5))
   p = multiprocessing.Pool(processes = 4)
   p_outputs = pool.map(function_square, inputs)
   p.close()
   p.join()
   print ('Pool :', p_outputs)

執(zhí)行上面示例代碼，得到以下結(jié)果 -

Pool : [0, 1, 4, 9, 16]