- 大数据分析:数据仓库项目实战
- 尚硅谷IT教育编著
- 2121字
- 2021-01-05 18:09:52
1.2 数据仓库概论
1.2.1 什么是数据仓库
数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库是为企业所有级别的决策制定过程,提供所有类型数据支持的资源集合。它出于分析性报告和决策支持目的而创建。
随着技术的飞速发展,经过多年的数据积累,各互联网公司已保存了海量的原始数据和各种业务数据,所以数据仓库技术是各互联网公司目前需要着重发展的技术领域。数据仓库是面向分析的集成化数据环境。通过对数据仓库中的数据进行分析,可以帮助企业改进业务流程、控制成本、提高产品质量等。
1.2.2 数据仓库能干什么
数据仓库系统是一个信息服务和管理平台,它从业务处理系统获得数据,主要以星形模型和雪花模型组织数据,并为用户从数据中获取信息和知识提供各种手段。
按照功能结构划分,数据仓库系统至少应该包含数据获取(Data Acquisition)、数据存储(Data Storage)和数据访问(Data Access)三个关键部分。
企业数据仓库的建设,是以现有企业业务系统和大量业务数据的积累为基础的。数据仓库不是静态的概念,只有把信息及时交给需要这些信息的使用者,帮助他们做出改善其业务经营的决策,信息才能发挥作用、才有意义。而把信息加以整理归纳和重组,并及时提供给相应的管理决策人员,是数据仓库的根本任务。因此,从企业的角度看,数据仓库的建设是一个工程。
1.2.3 数据仓库的特点
1.数据仓库中的数据是面向主题的
与传统数据库面向应用进行数据组织的特点相对应,数据仓库中的数据是面向主题进行数据组织的。什么是主题呢?首先,主题是一个抽象的概念,是较高层次上企业信息系统中的数据综合、归类并进行分析利用的抽象。在逻辑意义上,它对应企业中某一宏观分析领域所涉及的分析对象。面向主题的数据组织方式,就是在较高层次上对分析对象的数据的一个完整、一致的描述,能完整、统一地刻画各分析对象所涉及企业的各项数据,以及数据之间的联系。所谓较高层次是相对于面向应用的数据组织方式而言的,是指按照主题进行数据组织的方式具有更高的数据抽象级别。
2.数据仓库中的数据是集成的
数据仓库中的数据是从原有的、分散的数据库中抽取来的,抽取的数据可分为操作型数据和分析型数据两大类,两者之间差别甚大。第一,数据仓库的每个主题所对应的源数据在原有的各分散数据库中有许多重复和不一致的地方,且来源于不同联机系统的数据都和不同的应用逻辑捆绑在一起;第二,数据仓库中的数据不是从原有的数据库系统中直接得到的。因此,数据在进入数据仓库之前,必然要经过统一与综合,这一步是数据仓库建设中最关键、最复杂的一步,所要完成的工作如下。
① 要统一源数据中的所有矛盾之处,如字段的同名异义、异名同义、单位不统一、字长不一致等。
② 进行数据综合和计算。数据仓库中的数据综合工作可以在从原有数据库中抽取数据时完成,但大多数是在数据仓库内部完成的,即进入数据仓库以后进行数据综合。
3.数据仓库中的数据是不可更新的
数据仓库中的数据主要供企业管理者决策分析使用,所涉及的数据操作主要是数据查询,一般情况下并不进行修改操作。数据仓库中的数据反映的是相当长的一段时间内历史数据的内容,是不同时间的数据库快照的集合,以及基于这些快照进行统计、综合和重组的导出数据,而不是联机处理的数据。数据库中进行联机处理的数据经过集成输入数据仓库中,一旦数据仓库存放的数据已经超过数据仓库的数据存储期限,这些数据会被删除。因为数据仓库只能进行数据查询操作,所以数据仓库管理系统相比数据库管理系统而言要简单得多。数据库管理系统中的许多技术难点,如完整性保护、并发控制等,在数据仓库管理系统中几乎可以忽略。但是在数据仓库中要查询的数据量往往很大,所以就对数据查询提出了更高的要求,它要求采用各种复杂的索引技术,同时由于数据仓库面向的是商业企业的高层管理者,他们会对数据查询界面的友好性和数据表示提出更高的要求。
4.数据仓库中的数据是随时间不断变化的
数据仓库中的数据不可更新是针对应用来说的,也就是说,数据仓库的用户在进行数据分析和处理时是不进行数据更新操作的。但并不是说,在从数据集成输入数据仓库开始到最终被删除的整个数据生存周期中,数据仓库中的数据都是永远不变的。
数据仓库中的数据是随时间不断变化的,这是数据仓库的第4个特点。这一特点表现在以下3个方面。
① 数据仓库随着时间的变化不断增加新的数据内容。数据仓库系统必须不断捕捉OLTP数据库中变化的数据,并追加到数据仓库中,也就是要不断地生成OLTP数据库的快照,经过统一集成后增加到数据仓库中;但对于确实不再变化的数据库快照,如果捕捉到新的变化数据,则只生成一个新的数据库快照增加进去,而不会对原有的数据库快照进行修改。
② 数据仓库随时间的变化不断删除旧的数据内容。数据仓库中的数据也有存储期限,一旦超过这一期限,就要被删除。只是数据仓库中的数据时限要远远长于操作型环境中的数据时限。在操作型环境中一般只保存60~90天的数据,而在数据仓库中则需要保存较长时限的数据(如5~10年),以满足DSS进行趋势分析的要求。
③ 数据仓库中包含了大量的综合数据,其中很多数据与时间密切相关,如数据经常按照时间段进行综合,或隔一定的时间进行抽样等。这些数据要随着时间的变化不断地进行重新综合。因此,数据仓库的数据特征都包含时间项,以标明数据的历史时期。