1.2 大数据采集与处理基本流程
大数据的来源广泛,应用需求和数据类型不尽相同,但最基本的处理流程是一致的。
大数据处理基本流程图如图1-2所示。大数据处理基本流程主要包括数据采集、数据存储、数据处理、数据应用等环节。大数据质量贯穿于整个流程,每个数据处理环节都会对大数据质量产生影响和作用。通常,一个好的大数据产品应具有大量的数据规模、快速的数据处理、精确的数据分析与预测、优秀的可视化图表及简练易懂的结果解释。如何从真实世界对象中采集出有用的信息,并合理地存储、有效地处理这些信息是大数据发展的最关键因素,大数据采集与处理技术一直是大数据产业的基石。
图1-2 大数据处理基本流程图