基于农机管理数据现实情况与业务要求,采用模块化分层思路完成农机大数据管理平台的搭建工作。该管理平台基于Hadoop分布式框架结构,主要分为四层,分别是:源数据层、数据分布式存储层(数据存储层)、数据分析计算层(OLAP层)和平台应用层(数据应用层),整个平台工作过程和数据流动过程均是自下而上进行[2]。
1.2 Hadoop分布式框架结构
Hadoop是Apache基金会的开源项目,用于大规模计算机集群中完成数据计算、存储工作,具有强拓展性、高容错率、低成本的特点。核心模块是由MapReduce与HDFS分布式文件系统(Hadoop Distributed File System)构成的一个分布式文件存储系统。HDFS主要是用来解决大容量数据的结构存储问题,而MapReduce主要是针对大容量数据的处理运算速度问题而设。Hadoop对配置要求不高,应用也较灵活[3][4]。