DirectLake、Athena 与 Redshift Spectrum：2025 年 Lakehouse BI 终极指南

DirectLake、Athena 与 Redshift Spectrum

为您的 Lakehouse 选择正确的查询引擎是一个关键的决定。本次深入分析了 Microsoft 的集成 SaaS 方法与 AWS 的模块化云工具包之间的权衡，帮助您选择适合您特定需求的赢家。

战略分歧：统一 SaaS 与组合云

这些平台之间的选择不仅仅是技术比较；这是对核心架构哲学的承诺。您喜欢一体化的集成体验还是灵活的最佳工具包？

微软的统一愿景

Microsoft Fabric 推广一体化 SaaS 平台，将从数据工程到 BI 的所有内容集成到以 OneLake 为中心的单一用户体验中。此方法旨在简化治理、减少数据重复并降低已投资 Azure 和 Power BI 生态系统的组织的进入门槛。

• 专业人士：简化的用户体验和治理。
• 专业人士：与现有 Microsoft 工具深度集成。
• 缺点：感觉像是对现有服务的重新包装，导致学习曲线陡峭。
• 缺点：灵活性较差；在 Microsoft 规定的范式内运行。

AWS 的模块化工具包

AWS 方法是一种可组合架构，由 S3、Glue、Athena 和 Redshift 等专业化、可互操作的服务构建。这种模块化提供了巨大的灵活性，可以构建针对特定需求定制的“同类最佳”平台，所有平台均基于 Parquet 等开放标准，以避免供应商锁定。

• 专业人士：最大的灵活性和定制性。
• 专业人士：基于开放标准构建，防止供应商锁定。
• 缺点：更高的运营开销；每项服务都需要专门的技能。
• 缺点：管理服务之间的接口需要复杂的治理框架。

架构深度探究：它们是如何工作的

性能、成本和可扩展性方面的核心差异源于基本的架构选择。以下是每个平台的数据流的可视化细分。

微软DirectLake

Power BI 报告

VertiPaq 引擎
（内存缓存）

OneLake（Delta/Parquet 文件）

DAX 查询

转码和加载

更多阅读：GPT-5 vs. Thinking vs. Pro：OpenAI 新人工智能终极指南 (2025)

回退到
直接查询

DirectLake 将数据从 OneLake 加载到其高速 VertiPaq 缓存中。 “热”查询的性能非常出色，但在“冷”启动或达到内存限制时会受到影响，从而迫使缓慢回退到 DirectQuery。

AWS 雅典娜

BI 工具/SQL 客户端

雅典娜引擎
（无服务器 Presto/Trino）

S3数据湖

胶水数据
目录

SQL查询

直接扫描

获取架构

Athena 是真正的无服务器查询引擎。它在查询时直接从 S3 读取数据，使用 Glue Catalog 获取架构信息。性能是一致的，并且与 S3 中的数据分区和格式直接相关。

AWS Redshift 频谱

BI 工具/SQL 客户端

红移星团
（领导者/计算节点）

S3数据湖

频谱层
（无服务器扫描）

SQL查询

加入本地数据

卸载扫描

Spectrum 将预配置的 Redshift 集群扩展到 S3。集群的领导节点将繁重的扫描工作卸载到专用的无服务器 Spectrum 层，然后将结果与本地数据结合起来进行复杂的分析。

性能、延迟和可扩展性

现实世界的性能是架构差异变得清晰的地方。 DirectLake 对缓存的依赖造成了“冷”和“热”查询延迟之间的重大差异，而 AWS 服务提供了更一致（如果不是总是更快）的性能。

交互式图表：冷查询延迟与热查询延迟

此图表模拟了中等复杂度的 BI 查询的典型延迟。请注意，在第一次“冷”运行预热缓存后，DirectLake 的显着改进。 Athena 和 Redshift Spectrum 没有这样的预热期。

交互式图表：可扩展性和性能“悬崖”

DirectLake 的性能与其 Fabric SKU 内存限制相关。此图表说明了当活动数据集大小超过缓存时，查询时间如何急剧增加（“悬崖”），从而迫使回退到慢速 DirectQuery 模式。 Athena 和 Redshift Spectrum 的扩展更加线性。

面料 F64 (64GB)
面料 F128 (128GB)
面料 F256 (256GB)

数据新鲜度：近实时功能

湖泊的变化多快可以反映在您的 BI 报告中？这是现代分析的关键驱动力，每个平台的处理方式都不同。

DirectLake：轻量级“框架”

这是 DirectLake 的主要优势。它没有使用完整且耗时的数据刷新，而是使用称为“框架”的过程。这是一种快速、仅元数据的操作，可扫描 Delta Lake 事务日志并将其指针更新为最新版本的 Parquet 文件。该过程只需几秒钟，即可在 Power BI 报告中实现近乎即时的数据新鲜度。

AWS：本质上是实时的

Athena 和 Redshift Spectrum 在设计上本质上是实时的。由于它们直接从 S3 查询数据，因此写入湖中的任何新数据都可以立即可用。唯一需要的步骤是更新 Glue 数据目录以识别新文件或分区，该过程通常由 Glue 爬虫自动执行或作为数据摄取管道的一部分。

总拥有成本 (TCO) 分析

简单的标价比较具有误导性。最佳的经济选择完全取决于您的工作负载的可预测性。固定容量模型对于持续使用来说更便宜，而按查询付费则适合零星分析。

互动图表：成本模型比较

选择工作负载类型以查看成本比较。对于可预测的仪表板，Fabric 的固定成本是有效的。对于不可预测的临时查询，Athena 的按使用付费模式要经济得多。

可预测的仪表板
临时探索

治理是关键：Athena 的按查询付费模式功能强大，但也存在风险。对大型未分区表的一次错误查询可能会造成数千美元的损失。强大的 FinOps 实践（例如设置查询扫描限制）是不可协商的。

优化与治理：人为因素

绩效不仅仅涉及服务；还涉及服务。关键在于你如何使用它。优化和治理的责任由每个生态系统中的不同角色承担，这会影响您团队所需的技能。

DirectLake 优化

对于 DirectLake，性能调优主要针对 Power BI 开发人员和 Fabric 管理员。主要目标是加速“转码”步骤并确保缓存保持温暖。

• V 型订购：使用 Microsoft 专有的 V-Order 布局优化源 Parquet 文件可显着加快 VertiPaq 引擎的加载速度。
• 容量管理：确保 Fabric SKU（例如 F64）有足够的内存来保存活动数据集对于避免 DirectQuery 回退的性能悬崖至关重要。
• 数据建模：高效的 DAX 和结构良好的语义模型对于性能仍然至关重要。

AWS 优化

在 AWS 世界中，性能几乎完全是数据工程师的责任。目标是最大限度地减少从 S3 扫描的数据量。

• 分区：按日期或类别构建 S3 中的数据允许引擎完全跳过不相关的数据。
• 柱状格式：使用 Parquet 或 ORC 可确保查询仅读取它们需要的特定列。
• 文件压缩：通过将数据合并为最佳大小的文件（128MB-1GB）来避免“小文件问题”，从而最大限度地提高读取效率。

示例：Athena 分区表 DDL

CREATE EXTERNAL TABLE sales_data (
  sale_id BIGINT,
  product_id INT,
  sale_amount DECIMAL(10, 2)
)
PARTITIONED BY (sale_date DATE)
STORED AS PARQUET
LOCATION 's3://my-lakehouse-bucket/sales/';

此 SQL 语句在 Athena 中定义一个外部表，按“sale_date”分区。针对特定日期的查询过滤将仅扫描相应 S3 前缀中的数据，从而大大减少扫描大小和成本。

决策矩阵：选择哪个？

使用此交互式矩阵找到适合您的特定场景的最佳平台。选择您的主要约束条件来过滤建议。

按主要关注点过滤：

显示所有场景
延迟（
成本（基于使用情况）
查询复杂度
数据规模（TB+）

未来展望和供应商路线图

您今天做出的选择应该与这些平台的未来方向保持一致。这两个生态系统都在迅速发展，但它们的核心理念仍然不同。

Fabric 的轨迹：人工智能与集成

微软的路线图主要集中在两个领域：缩小企业差距和深化人工智能集成。期待 CI/CD、安全性和自动化方面的增强。主要战略推动力是将 Copilot 和 AI 功能融入整个 Fabric 堆栈，从而创建从数据摄取到 BI 的无缝、由 AI 驱动的分析体验。

AWS 的发展轨迹：性能和开放性

AWS 继续投资于其核心引擎的性能并减少其模块化服务之间的摩擦。最近的公告重点关注人工智能驱动的性能调整、简化数据移动的零 ETL 集成，以及扩大对 Apache Iceberg 等开放表格式的支持，从而强化了他们对开放、灵活且强大的生态系统的承诺。

最终判决：对生态系统哲学的赌注

选择 Microsoft Fabric 如果...

• 您对 Microsoft 生态系统（Azure、Power BI）进行了深入投资。
• 为了简单起见，您优先考虑统一、一体化的 SaaS 平台。
• 您的主要用例是面向业务用户的交互式仪表板。
• 您更喜欢可预测的固定成本，并希望避免基于查询的计费风险。

如果满足以下条件，请选择 AWS 堆栈：

• 您重视基于开放标准构建的灵活的模块化架构。
• 您的工作负载是不可预测的、临时的和探索性的。
• 您拥有强大的数据工程和 FinOps 实践来管理 S3 和控制成本。
• 您需要执行大规模 (TB-PB) 的复杂分析。

最终，不存在单一的“最佳”平台。正确的选择是一种战略选择，具体取决于您组织的技能、风险承受能力、现有投资以及分析工作负载的特定模式。