结语

本文主要介绍了如何将Hadoop和大数据生态圈的各部分重要组件有机地联系在一起去创建一个能够支撑批处理、交互式和实时分析工作的大数据平台系统。其中,我们重点尝试从计算框架、NoSQL数据库以及大数据平台安全这三方面分析了在不同的应用场景中相应的技术选型以及需要考虑到的权衡点,希望让大家对如何建立一个完整可用的安全大数据平台能有一个直观的认识。

江金陵,明略数据数据科学家,中山大学本科,硕士毕业于沙特阿拉伯阿卜杜拉国王科技大学,博士就读于丹麦奥尔堡大学,攻读博士期间赴斯德歌尔摩参与创立一款个性化新闻阅读工具并提名瑞典最佳新媒体类移动应用,后加入欧洲前三大博彩公司Unibet负责实时个性化赛事推荐系统的大数据平台开发工作。他曾在ICDE、ICDM等数据库和数据挖掘顶级会议中发表过学术文章,对大数据环境下的搜索、推荐、自然语言处理等方面均有十分丰富的经验。目前供职于明略数据数据科学家团队,负责公安和金融领域的大数据建模与开发工作。