OBIEE——数据仓库

在当今竞争激烈的市场中，大多数成功的公司都会对市场变化和机遇做出快速反应。快速响应的要求是有效和高效地使用数据和信息。“数据仓库”是按类别组织的数据中央存储库，以支持组织的决策者。一旦数据存储在数据仓库中，就可以访问它进行分析。

“数据仓库”一词最早由比尔·英蒙 (Bill Inmon) 于 1990 年发明。据他介绍，“数据仓库是一种面向主题的、集成的、时变的、非易失性的数据集合，用于支持管理层的决策过程。”

Ralph Kimball 根据其功能提供了数据仓库的定义。他说：“数据仓库是交易数据的副本，专门用于查询和分析。”

数据仓库（DW 或 DWH）是用于分析数据和报告目的的系统。它们是存储来自一个或多个异构数据源的数据的存储库。它们存储当前和历史数据并用于创建分析报告。DW 可用于为高级管理人员创建交互式仪表板。

例如，分析报告可以包含公司销售报告的季度比较或年度比较数据。

DW 中的数据来自多个运营系统，如销售、人力资源、营销、仓库管理等。它包含来自不同交易系统的历史数据，但也可以包含来自其他来源的数据。DW 用于将数据处理和分析工作负载与事务工作负载分开，并能够整合来自多个数据源的数据。

对数据仓库的需求

例如 – 您有一个房屋贷款机构，其中的数据来自多个 SAP/非 SAP 应用程序，例如营销、销售、ERP、HRM 等。这些数据被提取、转换并加载到 DW。如果您必须对产品进行季度/年度销售比较，则不能使用操作数据库，因为这会挂起交易系统。这就是需要使用 DW 的地方。

数据仓库的特征

DW 的一些关键特征是 –

• 它用于报告和数据分析。
• 它提供了一个中央存储库，其中包含从一个或多个来源集成的数据。
• 它存储当前和历史数据。

数据仓库与交易系统

以下是数据仓库和操作数据库（事务系统）之间的一些区别 –

• 事务系统是为已知的工作负载和事务而设计的，例如更新用户记录、搜索记录等。然而，DW 事务更复杂，并且呈现出一般形式的数据。

• 事务系统包含组织的当前数据，而 DW 通常包含历史数据。

• 交易系统支持多笔交易的并行处理。需要并发控制和恢复机制来保持数据库的一致性。

• 操作数据库查询允许读取和修改操作（删除和更新），而 OLAP 查询只需要对存储的数据进行只读访问（选择语句）。

• DW 涉及数据清理、数据集成和数据整合。

DW 具有三层架构 – 数据源层、集成层和表示层。下图显示了数据仓库系统的通用架构。

数据仓库系统的类型

以下是 DW 系统的类型 –

• 数据库
• 在线分析处理 (OLAP)
• 在线事务处理 (OLTP)
• 预测分析

数据库

数据集市是 DW 的最简单形式，它通常侧重于单个功能领域，例如销售、财务或营销。因此，数据集市通常仅从少数数据源获取数据。

源可以是内部事务系统、中央数据仓库或外部数据源应用程序。去规范化是该系统中数据建模技术的规范。

在线分析处理 (OLAP)

OLAP 系统包含较少数量的事务，但涉及复杂的计算，如使用聚合 – 总和、计数、平均等。

什么是聚合？

我们保存包含汇总数据的表格，例如每年（1 行）、每季度（4 行）、每月（12 行），现在我们要比较数据，例如每年仅处理 1 行。但是，在未聚合的数据中，所有行都将被处理。

OLAP 系统通常将数据存储在多维模式中，如星型模式、银河模式（事实表和维度表以逻辑方式连接）。

在 OLAP 系统中，执行查询的响应时间是一种有效性度量。OLAP 应用程序被数据挖掘技术广泛用于从 OLAP 系统中获取数据。OLAP 数据库以多维模式存储聚合的历史数据。OLAP 系统的数据延迟为几个小时，而数据集市的延迟通常接近几天。

在线事务处理 (OLTP)

OLTP 系统以插入、更新、删除等大量短在线事务而闻名。OLTP 系统提供快速查询处理，并负责在多访问环境中提供数据完整性。

对于 OLTP 系统，有效性是通过每秒处理的事务数来衡量的。OLTP 系统通常只包含当前数据。用于存储事务数据库的模式是实体模型。归一化用于 OLTP 系统中的数据建模技术。

OLTP 与 OLAP

下图显示了 OLTP 和 OLAP 系统之间的主要区别。

索引– 在 OLTP 系统中，只有很少的索引，而在 OLAP 系统中，有许多用于性能优化的索引。

联接– 在 OLTP 系统中，大量联接和数据被规范化；然而，在 OLAP 系统中，连接和非规范化较少。

聚合– 在 OLTP 系统中，数据未聚合，而在 OLAP 数据库中使用更多聚合。