DirectLake、Athena 與 Redshift Spectrum：2025 年 Lakehouse BI 終極指南

DirectLake、Athena 與 Redshift Spectrum

為您的 Lakehouse 選擇正確的查詢引擎是一個關鍵的決定。本次深入分析了 Microsoft 的集成 SaaS 方法與 AWS 的模塊化雲工具包之間的權衡，幫助您選擇適合您特定需求的贏家。

戰略分歧：統一 SaaS 與組合雲

這些平台之間的選擇不僅僅是技術比較；這是對核心架構哲學的承諾。您喜歡一體化的集成體驗還是靈活的最佳工具包？

微軟的統一願景

Microsoft Fabric 推廣一體化 SaaS 平台，將從數據工程到 BI 的所有內容集成到以 OneLake 為中心的單一用戶體驗中。此方法旨在簡化治理、減少數據重複並降低已投資 Azure 和 Power BI 生態系統的組織的進入門檻。

• 專業人士：簡化的用戶體驗和治理。
• 專業人士：與現有 Microsoft 工具深度集成。
• 缺點：感覺像是對現有服務的重新包裝，導致學習曲線陡峭。
• 缺點：靈活性較差；在 Microsoft 規定的範式內運行。

AWS 的模塊化工具包

AWS 方法是一種可組合架構，由 S3、Glue、Athena 和 Redshift 等專業化、可互操作的服務構建。這種模塊化提供了巨大的靈活性，可以構建針對特定需求定制的“同類最佳”平台，所有平台均基於 Parquet 等開放標準，以避免供應商鎖定。

• 專業人士：最大的靈活性和定制性。
• 專業人士：基於開放標準構建，防止供應商鎖定。
• 缺點：更高的運營開銷；每項服務都需要專門的技能。
• 缺點：管理服務之間的接口需要復雜的治理框架。

架構深度探究：它們是如何工作的

性能、成本和可擴展性方面的核心差異源於基本的架構選擇。以下是每個平台的數據流的可視化細分。

微軟DirectLake

Power BI 報告

VertiPaq 引擎
（內存緩存）

OneLake（Delta/Parquet 文件）

DAX 查詢

轉碼和加載

更多閱讀：GPT-5 vs. Thinking vs. Pro：OpenAI 新人工智能終極指南 (2025)

回退到
直接查詢

DirectLake 將數據從 OneLake 加載到其高速 VertiPaq 緩存中。 “熱”查詢的性能非常出色，但在“冷”啟動或達到內存限制時會受到影響，從而迫使緩慢回退到 DirectQuery。

AWS 雅典娜

BI 工具/SQL 客戶端

雅典娜引擎
（無服務器 Presto/Trino）

S3數據湖

膠水數據
目錄

SQL查詢

直接掃描

獲取架構

Athena 是真正的無服務器查詢引擎。它在查詢時直接從 S3 讀取數據，使用 Glue Catalog 獲取架構信息。性能是一致的，並且與 S3 中的數據分區和格式直接相關。

AWS Redshift 頻譜

BI 工具/SQL 客戶端

紅移星團
（領導者/計算節點）

S3數據湖

頻譜層
（無服務器掃描）

SQL查詢

加入本地數據

卸載掃描

Spectrum 將預配置的 Redshift 集群擴展到 S3。集群的領導節點將繁重的掃描工作卸載到專用的無服務器 Spectrum 層，然後將結果與本地數據結合起來進行複雜的分析。

性能、延遲和可擴展性

現實世界的性能是架構差異變得清晰的地方。 DirectLake 對緩存的依賴造成了“冷”和“熱”查詢延遲之間的重大差異，而 AWS 服務提供了更一致（如果不是總是更快）的性能。

交互式圖表：冷查詢延遲與熱查詢延遲

此圖表模擬了中等複雜度的 BI 查詢的典型延遲。請注意，在第一次“冷”運行預熱緩存後，DirectLake 的顯著改進。 Athena 和 Redshift Spectrum 沒有這樣的預熱期。

交互式圖表：可擴展性和性能“懸崖”

DirectLake 的性能與其 Fabric SKU 內存限制相關。此圖表說明了當活動數據集大小超過緩存時，查詢時間如何急劇增加（“懸崖”），從而迫使回退到慢速 DirectQuery 模式。 Athena 和 Redshift Spectrum 的擴展更加線性。

面料 F64 (64GB)
面料 F128 (128GB)
面料 F256 (256GB)

數據新鮮度：近實時功能

湖泊的變化多快可以反映在您的 BI 報告中？這是現代分析的關鍵驅動力，每個平台的處理方式都不同。

DirectLake：輕量級“框架”

這是 DirectLake 的主要優勢。它沒有使用完整且耗時的數據刷新，而是使用稱為“框架”的過程。這是一種快速、僅元數據的操作，可掃描 Delta Lake 事務日誌並將其指針更新為最新版本的 Parquet 文件。該過程只需幾秒鐘，即可在 Power BI 報告中實現近乎即時的數據新鮮度。

AWS：本質上是實時的

Athena 和 Redshift Spectrum 在設計上本質上是實時的。由於它們直接從 S3 查詢數據，因此寫入湖中的任何新數據都可以立即可用。唯一需要的步驟是更新 Glue 數據目錄以識別新文件或分區，該過程通常由 Glue 爬蟲自動執行或作為數據攝取管道的一部分。

總擁有成本 (TCO) 分析

簡單的標價比較具有誤導性。最佳的經濟選擇完全取決於您的工作負載的可預測性。固定容量模型對於持續使用來說更便宜，而按查詢付費則適合零星分析。

互動圖表：成本模型比較

選擇工作負載類型以查看成本比較。對於可預測的儀表板，Fabric 的固定成本是有效的。對於不可預測的臨時查詢，Athena 的按使用付費模式要經濟得多。

可預測的儀表板
臨時探索

治理是關鍵：Athena 的按查詢付費模式功能強大，但也存在風險。對大型未分區表的一次錯誤查詢可能會造成數千美元的損失。強大的 FinOps 實踐（例如設置查詢掃描限制）是不可協商的。

優化與治理：人為因素

績效不僅僅涉及服務；還涉及服務。關鍵在於你如何使用它。優化和治理的責任由每個生態系統中的不同角色承擔，這會影響您團隊所需的技能。

DirectLake 優化

對於 DirectLake，性能調優主要針對 Power BI 開發人員和 Fabric 管理員。主要目標是加速“轉碼”步驟並確保緩存保持溫暖。

• V 型訂購：使用 Microsoft 專有的 V-Order 佈局優化源 Parquet 文件可顯著加快 VertiPaq 引擎的加載速度。
• 容量管理：確保 Fabric SKU（例如 F64）有足夠的內存來保存活動數據集對於避免 DirectQuery 回退的性能懸崖至關重要。
• 數據建模：高效的 DAX 和結構良好的語義模型對於性能仍然至關重要。

AWS 優化

在 AWS 世界中，性能幾乎完全是數據工程師的責任。目標是最大限度地減少從 S3 掃描的數據量。

• 分區：按日期或類別構建 S3 中的數據允許引擎完全跳過不相關的數據。
• 柱狀格式：使用 Parquet 或 ORC 可確保查詢僅讀取它們需要的特定列。
• 文件壓縮：通過將數據合併為最佳大小的文件（128MB-1GB）來避免“小文件問題”，從而最大限度地提高讀取效率。

示例：Athena 分區表 DDL

CREATE EXTERNAL TABLE sales_data (
  sale_id BIGINT,
  product_id INT,
  sale_amount DECIMAL(10, 2)
)
PARTITIONED BY (sale_date DATE)
STORED AS PARQUET
LOCATION 's3://my-lakehouse-bucket/sales/';

此 SQL 語句在 Athena 中定義一個外部表，按“sale_date”分區。針對特定日期的查詢過濾將僅掃描相應 S3 前綴中的數據，從而大大減少掃描大小和成本。

決策矩陣：選擇哪個？

使用此交互式矩陣找到適合您的特定場景的最佳平台。選擇您的主要約束條件來過濾建議。

按主要關注點過濾：

顯示所有場景
延遲（
成本（基於使用情況）
查詢複雜度
數據規模（TB+）

未來展望和供應商路線圖

您今天做出的選擇應該與這些平台的未來方向保持一致。這兩個生態系統都在迅速發展，但它們的核心理念仍然不同。

Fabric 的軌跡：人工智能與集成

微軟的路線圖主要集中在兩個領域：縮小企業差距和深化人工智能集成。期待 CI/CD、安全性和自動化方面的增強。主要戰略推動力是將 Copilot 和 AI 功能融入整個 Fabric 堆棧，從而創建從數據攝取到 BI 的無縫、由 AI 驅動的分析體驗。

AWS 的發展軌跡：性能和開放性

AWS 繼續投資於其核心引擎的性能並減少其模塊化服務之間的摩擦。最近的公告重點關注人工智能驅動的性能調整、簡化數據移動的零 ETL 集成，以及擴大對 Apache Iceberg 等開放表格式的支持，從而強化了他們對開放、靈活且強大的生態系統的承諾。

最終判決：對生態系統哲學的賭注

選擇 Microsoft Fabric 如果...

• 您對 Microsoft 生態系統（Azure、Power BI）進行了深入投資。
• 為了簡單起見，您優先考慮統一、一體化的 SaaS 平台。
• 您的主要用例是面向業務用戶的交互式儀表板。
• 您更喜歡可預測的固定成本，並希望避免基於查詢的計費風險。

如果滿足以下條件，請選擇 AWS 堆棧：

• 您重視基於開放標準構建的靈活的模塊化架構。
• 您的工作負載是不可預測的、臨時的和探索性的。
• 您擁有強大的數據工程和 FinOps 實踐來管理 S3 和控製成本。
• 您需要執行大規模 (TB-PB) 的複雜分析。

最終，不存在單一的“最佳”平台。正確的選擇是一種戰略選擇，具體取決於您組織的技能、風險承受能力、現有投資以及分析工作負載的特定模式。