- 剑指大数据:企业级数据仓库项目实战(电商版)
- 尚硅谷教育编著
- 1144字
- 2023-11-17 16:33:58
2.2.1 电商数据仓库产品描述
随着我国互联网的快速普及,电商行业走上了快速发展的轨道,用户量和交易额年年增长,这得益于技术的快速发展,更得益于中国庞大的用户群体。庞大的用户群体产生了海量的用户数据,这些海量数据无序地堆积在企业的服务器中,看起来毫无价值。但是,数据即价值,通过合理地搭建一个数据仓库,可以帮助企业深度挖掘这些海量数据的深层价值。数据仓库搭建的目的就是能够让用户更方便地访问海量数据,从数据中提取隐藏价值,因此,数据仓库需要具有时效性、准确性、可访问性和安全性。
1.时效性
基于电商企业对于数据仓库系统的基本诉求,我们认为数据仓库首先需要做到的是,高效采集不同系统产生的数据。电商系统每日产生大量的数据,这些数据基本可分为两类:一类是日志数据,包括用户行为生成的日志数据和系统产生的日志数据;另一类是业务数据。仓库管理员不仅需要快速、及时地采集这两类数据,并且需要对采集到的数据进行合理的分类处理,还要为决策者提供数据分析的快速通道,做到这些需要对数据仓库进行合理分层及数据建模。以合理的方式对数据仓库进行分层和分析计算,可以使用户和数据仓库的开发人员在较短的时间内得到想要的查询结果。
2.准确性
数据仓库想要实施成功,其中的数据必须准确。数据仓库的搭建过程必须是可靠的,而用户对于数据的来源,以及数据的抽取、转换、装载过程也必须清楚。作为数据仓库的开发人员,需要对数据仓库中的数据质量进行必要把控。
3.可访问性
数据仓库需要对数据进行合理且及时的展现。数据仓库的最终目的是为用户提供数据服务,数据仓库最终面向的用户是业务人员、管理人员或数据分析师,他们对组织内的相关业务非常熟悉,对数据的理解也很充分,但是对于数据仓库的使用和搭建往往不是很熟悉。这就要求我们在提供数据接口时,尽量设计得友好和简单,可以让用户轻易地获取他们需要的数据。
4.安全性
数据仓库中有时含有机密和敏感数据,为了能够提升数据的安全性,必须装置适当的权限管理机制,只有授权用户才能访问这些数据。增加权限管理机制、提升数据仓库的安全性会影响数据仓库的整体性能。因此,在设计之初开发人员就应该提前考虑数据仓库的安全需求,包括设置用户权限(数据仓库中的数据对于最终用户是只读的),提前划分数据的安全等级,制订权限控制方案,设计权限的授予、回收和变动方法。
针对以上要求,本数据仓库项目将设计数据采集、数据分层搭建、任务定时调度、即席查询、元数据管理、数据可视化、权限管理及数据质量监控等模块。这些模块可以全面满足不同的业务需求。
• 及时高效地采集数据。
• 快速实现数据仓库合理分层。
• 实现对数据仓库业务的定时调度和自动报警。
• 对用户提供快速查询服务。
• 实现对元数据的管理。
• 对外提供数据可视化服务。
• 数据仓库的可用性和安全性得到大幅提升。