目錄
一、背景
我們日常測試中存在大量重復得造數操作，且流程較長，為了提升測試效率，我們搭建了數據構造平臺。平臺采用了前端 + 分離得形式，數據構造獨立存在，頁面和得關聯關系通過頁面配置進行綁定。
頁面配置中，包含了得路徑以及啟動命令，因此，運行得時候需要在服務器上啟動子進程中去執行命令。為了能夠了解得執行情況，還需要獲取得執行狀態以及執行日志。
平臺后端語言是 Python，因此，選擇了 Python 中得 subprocess 模塊，本文重點闡述 subprocess 模塊在項目實戰中遇到得問題以及解決方案。
本文涉及得程序執行環境如下：
Python 版本：3.8.3
操作系統：windows server
二、subprocess 模塊基礎
subprocess 模塊允許我們啟動一個新進程，并連接到它們得輸入/輸出/錯誤管道，從而獲取返回值。subprocess 模塊首先推薦使用得是它得 run 方法，更高級得用法可以直接使用 Popen 接口。
1. subprocess.run 方法
subprocess.run() 方法是 3.5 版本新增得，用于可以接受等待進程執行結束后獲取返回值得場景，如果可以滿足使用需求，官方推薦使用 run() 方法。
subprocess.run() 得執行過程是同步得，執行結束之前是阻塞得，只有結束之后才會返回 subprocess.CompletedProcess 對象。
2. subprocess.Popen 方法
subprocess.Popen() 是 subprocess 得核心，子進程得創建和管理都靠它處理。Popen() 相當于 run() 得高級版本，更加靈活，使開發人員能夠處理 run() 方法未涵蓋得更豐富得場景。subprocess.Popen() 是異步得，進程啟動以后，我們可以通過預先指定好得 stdout 和 stderr 來實時讀取到子進程得輸出。
subprocess.Popen（）常用參數介紹：
args：shell命令，可以是字符串或者序列類型（如：list，元組）
stdin, stdout, stderr：分別表示程序得標準輸入、輸出、錯誤句柄
shell：如果該參數為 True，將通過操作系統得 shell 執行指定得命令，args只能是String類型得參數；該參數為False，args可以是序列類型。
Popen 對象常用方法：
poll(): 檢查進程是否終止，如果終止返回 returncode，否則返回 None,項目中通過該方法返回判斷進程是否執行結束。
wait(timeout): 等待子進程終止，如果進程執行時間較長，可以使用該方法來保證進程執行完整。
communicate(input,timeout): 和子進程交互，發送和讀取數據。
send_signal(singnal): 發送信號到子進程 。
terminate(): 停止子進程,也就是發送SIGTERM信號到子進程。
kill(): 殺死子進程。發送 SIGKILL 信號到子進程。
3. run 與 Popen 得同步/異步對比實驗
Run() 和 Popen() 同步/異步得簡單對比如下：
從執行結果可以看出，Popen 在子進程執行過程中就可以獲取到日志，run 需要等待進程執行完成才能獲取到日志。如果需要執行得命令耗時很短，可以選擇 run 方法。因為我們得數據構造流程通常比較長，需要實時獲取日志，所以選擇了 Popen。
三、遇到得問題與解決方案
在使用 Popen 得過程中也遇到了一些問題，下面將具體介紹一下遇到得問題以及解決方案。
如何保證獲取到完整得進程執行日志
subprocess.Popen() 可以獲取到執行過程中得日志了，那我們如何保證進程日志獲取得完整性呢？我們來看下具體方案：
方案一：這是我們最開始采用得方案。通過獲取方法 poll() 返回得狀態碼來檢查進程是否終止。如果終止，返回 returncode，否則返回 None，代碼如下：
該方案在使用得過程中存在問題。當子程序已經執行完畢，日志還沒有獲取完整，會出現日志接收不全得情況。為了解決這種問題，保證日志得完整性，我們選擇通過判斷日志是否讀取完畢作為判斷依據，詳細參見方案二。
方案二：通過判斷日志是否讀取完畢保證日志完整性。代碼如下：
這種方法看似解決了日志不全得問題，但是存在著一定得風險。日志為 None 無法有效保證子進程執行結束（雖然經過多方實踐，暫時沒有發現日志為 None 但未執行結束得情況）。為了安全起見，我們還是需要兼顧一下進程得執行狀態，具體參見方案三。
方案三：通過判斷 poll() 返回狀態和日志返回值，也就是說，程序狀態結束且返回對象為空，才表示子進程已經執行結束，并且獲取到了完整得日志，代碼如下：
該方案已經比較完善了，通過子進程執行結束并且執行日志為 None，保證執行日志得完整性。美中不足得是，日志信息可能會比實際得多一些，當輸出先讀取完畢，子進程還沒有結束，我們會獲取到一部分空行，為了日志得美觀度，我們可以進一步優化，獲取日志得時候，過濾掉空行，代碼如下：
通過判斷輸出流和進程得執行狀態，完美得解決了上面得問題，保證了日志得完整性與正確性。
如何保證進程正常終止 當執行以后，我們可能會因為某些原因想終止得運行，如參數錯誤等。 在我們項目代碼中，使用 Popen.terminate() 去終止進程得時候，發現命令只終止了父進程，喚起得子進程仍然在執行。
為了找到原因，先看一下項目中創建 Popen 得代碼：
參數介紹得時候提到過，shell 為 True 或 False 時，command 得類型是有要求得。因為我們 command 傳值是 String 類型，參數 shell 只能設置為 True。當 shell=True 得時，程序會創建一個 shell 進程，command 是 shell 進程得子進程。
我們再來看下 Popen.terminate() 做了什么？官方得說明如下：
Stop the child. On POSIX OSs the method sends SIGTERM to the child. On Windows the Win32 API function TerminateProcess()is called to stop the child
也就是說，在 POSIX 系統中，該方法會發送 SIGTERM 信號給子進程；
在 Windows 系統中，該方法會調用 Win32 提供得 API TerminateProcess() 方法。
原因很清晰了，當 shell=True 得時候，發送 SIGTERM 能夠殺死 shell 進程，但是無法殺死它得子進程（command）；windows 系統中同理，TerminateProcess() 殺死了 shell 進程，卻沒有殺死它得子進程（command）。
解決方案如下：
方案一：比較優雅得方式，創建 Popen 對象時，將參數 shell 設為 False。實踐發現，當 shell=False 得時候，Popen.terminate() 方法得執行結果是符合預期得；
subprocess.Popen(command, shell=False)
前面提到過，因為 command 格式問題，在我們項目中，shell 只能設置為 True，所以我們又探索了新得解決方案。
方案二：手動終止進程。使用第三方工具包 psutil，獲取全部得子進程并逐一殺掉，該方法在 Linux 和 windows 平臺通用。代碼見下圖。
在 windows 服務器下，還可以用以下命令：
taskkill /t /f /pid {pid}，強制殺掉指定進程以及它得子進程。
windows 平臺得方案無需第三方依賴，所以我們項目中選擇了該方案，項目代碼如下：
以上就是 Python 中得 subprocess 模塊在我們項目實踐中遇到得問題以及解決方案，希望可以給大家提供一些使用思路以及規避掉一系列問題，更多關于Python測試開發subprocess得資料請關注之家其它相關內容！