spark和kafka主要通过Scala实现,Hadoop和HBase主要基于java实现。
通过该项目,主要达到以下目的:
(1)通用的数据处理流程,入门大数据领域
(2)真实体验大数据开发工程师的工作
(3)企业级的项目,利用这个思路可以做二次拓展开发
(4)从0到有,数据抽取、数据存储、数据处理、展现
大数据平台架构图:
大数据没有事务的概念,需要不间断完整地把流程跑完,没有事务回滚的概念。
spark和kafka主要通过Scala实现,Hadoop和HBase主要基于java实现。
通过该项目,主要达到以下目的:
(1)通用的数据处理流程,入门大数据领域
(2)真实体验大数据开发工程师的工作
(3)企业级的项目,利用这个思路可以做二次拓展开发
(4)从0到有,数据抽取、数据存储、数据处理、展现
大数据平台架构图:
大数据没有事务的概念,需要不间断完整地把流程跑完,没有事务回滚的概念。