书签栏
一、官方网址
- 官网：https://greatexpectations.io
- 工具名称：Great Expectations
二、核心功能
- 声明式期望：以 expect_column_values_to_be_between 等语义化断言校验数据。
- 自动剖析：根据数据样本自动推荐期望规则，快速起步。
- 多后端执行：支持 Pandas、Spark、SQL 数据库上直接运行校验。
- 数据文档：验证结果自动渲染为可读的 Data Docs 网站。
- 管道集成：可嵌入 Airflow、dbt 等管道实现质量门禁。
三、适用场景
- 数据管道入口的自动质量校验
- 数仓表的健康监控与告警
- 跨团队的数据契约管理
- 数据清洗规则的回归测试
四、使用优势
- 规则语义化，可读性极高
- 报告与文档自动生成
- 开源社区活跃，集成面广
- 期望可版本化，随代码一同评审
五、注意事项
- 规则维护需要与业务口径保持同步
- 大表全量校验要关注执行成本
- 3.x 版本 API 变化较大，注意查阅新版文档
相关文章
Alteryx
Alteryx 是知名的自助式数据分析平台，通过拖拽式工作流完成数据清洗、混合与预处理，无需编写代码。
Talend
Talend 是领先的数据集成与数据质量管理平台，提供可视化 ETL 设计能力，支持批处理与实时数据管道。
Informatica
Informatica 是企业级数据管理领域的标杆厂商，其 PowerCenter 与智能云平台广泛应用于大型企业的数据集成与清洗。
Pentaho
Pentaho 是日立旗下数据集成与分析平台，其核心组件 Kettle（PDI）以可视化方式完成数据抽取、转换与加载。
Apache NiFi
Apache NiFi 是 Apache 基金会顶级项目，专注自动化数据流的管理、路由与转换，适合实时数据清洗分发。
查看数据清洗与预处理工具全部内容
共30篇
返回数据分析分类
一级分类总览