
会员
大数据处理框架Apache Spark设计与实现
更新时间:2024-01-19 16:36:47 最新章节:参考文献
书籍简介
近年来,以ApacheSpark为代表的大数据处理框架在学术界和工业界得到了广泛的使用。本书以ApacheSpark框架为核心,总结了大数据处理框架的基础知识、核心理论、典型的Spark应用,以及相关的性能和可靠性问题。本书分9章,主要包含四部分内容。第一部分大数据处理框架的基础知识(第1~2章):介绍大数据处理框架的基本概念、系统架构、编程模型、相关的研究工作,并以一个典型的Spark应用为例概述Spark应用的执行流程。第二部分Spark大数据处理框架的核心理论(第3~4章):介绍Spark框架将应用程序转化为逻辑处理流程,进而转化为可并行执行的物理执行计划的一般过程及方法。第三部分典型的Spark应用(第5章):介绍迭代型的Spark机器学习应用和图计算应用。第四部分大数据处理框架性能和可靠性保障机制(第6~9章):介绍Spark框架的Shuffle机制、数据缓存机制、错误容忍机制、内存管理机制等。
上架时间:2020-07-01 00:00:00
出版社:电子工业出版社
上海阅文信息技术有限公司已经获得合法授权,并进行制作发行
最新章节
许利杰等
同类热门书
最新上架
- 会员本书本书基于业务问题,就如何搭建分析框架,厘清分析思路,按照标准分析步骤对数据进行怡当的预处理,选择合适的分析方法和分析模型,使用恰当的分析工具对数据进行分析,以及对分析结果进行可视化和符合业务要求的解读等内容展开讲解,帮助业务专家做出合适的业务判断,制定准确的业务策略。计算机13万字
- 会员本书以Kettle实现ETL流程为目标,将ETL知识点与任务相结合,配套真实案例,深入浅出地介绍了ETL数据整合与处理的相关内容。全书共8章,第1章介绍了ETL概念和ETL工具,让读者在了解ETL相关的概念后,立刻上手ETL工具Kettle;第2~6章介绍了Kettle工具转换相关的组件,包括源数据获取、记录处理、字段处理、高级转换、迁移和装载等内容,内容与ETL流程匹配,能帮助读者快速掌握ETL计算机8.1万字
- 会员本书较全面地介绍了MySQL数据库的基础知识及其应用。本书共11章,包括数据库基础,MySQL的安装与配置,数据库的基本操作,数据表的基本操作,表数据的增、改、删操作,数据查询,视图,索引,存储过程与触发器,事务,数据安全等内容。本书采用案例教学方式,每章以应用实例的方式阐述知识要点,再通过实训项目分析综合应用,最后辅以思考与练习巩固所学知识。应用实例、实训项目、思考与练习这3个部分分别采用3个不计算机7.8万字
- 会员本书内容分3个部分共12章。第1-4章主要介绍什么是数据分析,以及Python的编程环境和基础语法知识。第5-9章主要介绍数据处理和分析的各种方法。第10-12章介绍了如何结合Python与Excel在实际工作中进行数据处理与分析操作。计算机8.5万字
- 会员数据挖掘算法为大数据与人工智能的核心,掌握数据挖掘各算法的编程实现,有助于提升大数据的实践运用能力。本书详细阐述了数据挖掘常用算法与编程实现,同时,本书以多个经典的数据挖掘赛题为案例,详细论述了数据预处理、特征选择、可视化、算法选择等全流程数据挖掘过程的编程实现,有助于提升读者面对实际数据问题时灵活运用各类算法能力。计算机4.7万字
同类书籍最近更新
- 会员本书全面介绍数据产品开发与经营,全书共13章,分为数据产品基础、数据产品开发、数据产品实践、数据产品经营四篇。第一篇深入分析国家和地方层面的数据资产政策,提出数据资产运营框架,并介绍数据资源的治理和数据产品。第二篇详细阐述数据产品开发三大策略、数据产品设计五步法、数据产品开发方法以及数据产品运营方法。第三篇全面介绍数据产品开发的实践案例,特别从数据要素型企业、数商型企业两个角度说明数据产品开发的实数据库33.6万字
- 会员本书主要向读者介绍基于互联网技术的数据分析原理与方法,帮助读者理解并掌握数据分析能力,可使用到实践中并提升工作能力。本书具体内容包括学数据分析有什么用,数据分析的基础方法,数据分析的起点,数据分析的基础,数据分析的准备;通过数据分析看清现实,通过数据分析抓住业务增长机会,通过数据分析发现异常、处理异常、防止异常,通过数据分析预测与推荐,通过数据分析服务线下业务,数据分析结果汇报,以及让数据分析结果数据库10.3万字