数据架构

数据存储

数据仓库

数据湖

一个集中式存储库，允许以任意规模存储所有结构化和非结构化数据

常见的实现形式为表格式，只负责依照某种格式存储到存储系统中，再由独立的查询引擎实现读取数据查询

湖仓一体

将数据仓库构建在数据湖之上或相互融合

数据集成

将来自不同数据源的数据整合到一个统一的数据存储中，以便于数据分析、业务报告和决策支持。一般为 ETL 或者 ELT

数据计算

批处理

流处理

流批一体

  1. 计算一体：同一套计算逻辑可以同时应用于流处理与批处理两种模式，且在最终结果上一致。
  2. 存储一体：流处理与批处理过程中全程数据存储在同一介质，即不管采用何种处理模式，数据的流转及存储都在同一介质中完成

数据应用

BI

通过收集、分析和呈现数据来提供商业洞察的技术和工具

通常包括以下功能：

  1. 数据可视化： 将数据转化为图表、仪表盘、报表等形式，以便用户直观地理解数据。
  2. 数据分析： 提供各种分析功能，包括查询、筛选、排序、聚合等，以便用户对数据进行深入的分析和探索。
  3. 报告和仪表盘： 支持定制化报告和仪表盘的生成，以满足不同用户和业务部门的需求。
  4. 数据挖掘： 使用数据挖掘算法和模型来发现数据中的隐藏模式、关联和趋势，从而提供更深入的洞察和预测。
  5. 实时监控和警报： 提供实时监控功能，监测业务指标的变化和异常情况，并及时发出警报

报表

报表与 BI 的区别在于 BI 更加灵活，且 BI 覆盖更广泛的功能。同时 BI 能够支持实时数据的查询和分析

机器学习与AI

数据治理与安全

质量管理

在数据生命周期的各个阶段，通过一系列的策略、流程和工具，确保数据的准确性、一致性、完整性、可靠性和及时性的过程

元数据管理

分类：