PowerShell 7.5 並行性能：ForEach-Object 與 ThreadJob 與 Runspaces

本報告對 PowerShell 7.5 中基於線程的並行處理功能進行了詳盡的分析，重點是比較研究ForEach-Object -Parallel,Start-ThreadJob，並直接管理System.Management.Automation.Runspaces命名空間。調查顯示，雖然所有三種方法都建立在相同的基礎運行空間技術之上，但它們在可用性、性能開銷和程序控制方面呈現出明顯的權衡。

要點： ForEach-Object -Parallel由於其開銷較低且語法簡單，因此它是 PowerShell 中大多數並行數據處理任務最有效且易於訪問的方法。

統一基礎：運行空間

PowerShell 中所有進程內並行執行的核心是一個概念運行空間。運行空間是執行命令的操作環境或“會話”，封裝了變量、函數和模塊等所有狀態。為了在單個進程中實現真正的並行性，PowerShell 必須創建和管理多個運行空間，因為一次只有一個線程可以在單個運行空間中執行命令。

抽象的三個層次

ForEach-對象-並行

高級抽象

啟動線程作業

中級抽象

推薦閱讀：如何在 Windows Server 2019 Powershell 和 UI 上禁用服務器管理器

手動運行空間管理

最大控制

核心引擎：運行空間

低級API

管道動力源：ForEach-Object -Parallel

在 PowerShell 7.0 中引入-Parallel參數變換ForEach-Object從順序工具轉變為並發執行的強大工具。它旨在與管道無縫集成，自動管理運行空間的創建、池化和銷毀。自 PowerShell 7.1 起，它已經過優化，默認情況下可以重用內部池中的運行空間，從而顯著減少處理大型集合時的開銷。

電源外殼

複製

狀態管理：$using：範圍

每個並行腳本塊在隔離的運行空間中運行。為了從父作用域傳遞數據，PowerShell 提供了$using:範圍修飾符，它在運行空間內創建變量的只讀副本。

電源外殼

複製

異步主力：Start-ThreadJob

當任務不適合管道模型或需要作為長時間運行的後台操作進行管理時，Start-ThreadJob是理想的工具。這是一個正在進行的替代品Start-Job，避免創建新進程的高開銷。它創建標準的 PowerShell 作業對象，可以使用熟悉的 cmdlet 進行管理，例如Wait-Job和Receive-Job。

作業生命週期和數據傳遞

Start-ThreadJob提供了用於傳遞數據的多種選項，包括-ArgumentList通過a的結構化輸入參數param()塊，以及-InitializationScript參數在主腳本塊執行之前通過加載模塊或定義函數來準備運行空間。

重要限制：

• 調試黑洞： Start-ThreadJob與交互式調試器不兼容。
• 過程脆弱性：單線程作業中的關鍵、未處理的異常可能會導致整個 PowerShell 父進程崩潰，從而終止所有其他正在運行的作業。

專家工具包：手動運行空間管理

對於需要最高性能和控制的場景，PowerShell 提供對底層 .NET API 的直接訪問以進行運行空間管理。這種方法繞過了所有抽象，但需要大量的樣板代碼和對 API 的深入理解。它保留用於高度專業化的用例，例如 C# 託管或線程之間的複雜狀態管理。

逐步實施

典型的手動實施涉及創建RunspacePool, 創造PowerShell每個任務的實例，將它們分配到池中，異步調用它們BeginInvoke()，然後仔細管理生命週期以收集結果EndInvoke()並處置資源以防止內存洩漏。

電源外殼

複製

性能基準測試：現實世界的工作負載

理論討論還不夠。我們針對兩種不同的工作負載配置文件對這些方法進行了基準測試：CPU 限制（受處理器速度限制）和I/O 限制（受等待網絡/磁盤的限制）。這種區別是優化並行腳本的最重要的因素。

交互式基準測試結果

CPU 限制
I/O 限制

戰略節流和資源管理

這-ThrottleLimit參數是控制並發的主要槓桿。它的有效使用對於性能和穩定性至關重要。

對於 CPU 密集型任務

放ThrottleLimit等於邏輯核心的數量（$env:NUMBER_OF_PROCESSORS）。這可以最大限度地提高吞吐量，而不會產生過多的上下文切換開銷。

對於 I/O 密集型任務

放ThrottleLimit明顯高於核心數量（例如，25-100+）。這可以確保 CPU 在某些線程等待時始終處理其他任務，從而隱藏 I/O 延遲。

常見陷阱和高級“陷阱”概要

從順序腳本轉換到並行腳本會引入一類新的潛在錯誤。了解這些常見陷阱對於編寫健壯的並行代碼至關重要。

“無菌”運行空間環境

最常見的錯誤來源是忘記並行運行空間是隔離的。每個線程都“乾淨”地啟動，沒有來自父腳本的模塊、函數或變量。任何必需的模塊都必須顯式導入Import-Module在並行腳本塊內，變量必須使用$using:範圍修飾符。

數據聚合陷阱：確保線程安全

一個經常被忽視的關鍵陷阱是將結果聚合到標準集合中。類似的操作$results.Add($item)或者$results += $item標準數組或列表不是原子的。當多個線程同時嘗試這些操作時，就會出現“競爭條件”，導致數據丟失或腳本終止異常。為了安全地聚合數據，您必須使用專為並發訪問而設計的集合。

不正確（非線程安全）

正確（線程安全）

錯誤處理和聚合

一個try/catch放置在a周圍的塊ForEach-Object -Parallel命令不會捕獲並行腳本塊內發生的終止錯誤。每個線程都有自己的錯誤流。穩健的模式涉及實施try/catch*在*並行腳本塊內，並將任何捕獲的異常添加到專用的線程安全集合中，以供以後查看。

決策框架和建議

選擇正確的並行化策略是將工具與任務相匹配的問題。使用這個簡單的框架來指導您的決定。

如何選擇並行方法

開始：分析任務

是基於管道的收集處理嗎？

使用ForEach-Object -Parallel

需要異步後台作業管理？

使用Start-ThreadJob

使用手動運行空間（針對專家案例）

最終建議

• 默認為ForEach-Object -Parallel:它是 PowerShell 中大多數並行化工作的最佳工具。
• 首先分析您的工作負載：正確識別任務是 CPU 密集型任務還是 I/O 密集型任務是性能的關鍵。
• 隔離設計：假設運行空間是無菌的，併計劃如何為它們提供變量、函數和模塊。
• 優先考慮線程安全集合：使用ConcurrentBag或同步哈希表以防止聚合結果時數據損壞。
• 記錄，不調試：從一開始就在並行腳本中構建強大的日誌記錄，以克服調試限制。