二、基于BigTable 存储技术构建宁夏科技创新知识服务平台
1、平台系统建设总体目标、总体框架及关键技术
具体目标:实现科技信息资源聚合与统一发现,提升全区科技信息资源保障能力。汇聚国内外期刊、学位论文、会议论文、中外专利、标准、科技成果及智库等各类优质科技信息资源,实现信息整合共享与资源统一发现,可发现的科技信息资源量不少于 7 亿条。为全区科技创新活动提供全面的、坚实的信息资源基础保障,促进各项科技工作效率与水平。
总体建设框架如下图:
2.平台软件架构中所涉及的主要技术
主要包括BigTable 存储技术、分布式索引技术、MapReduce 并行处理和数据同步及更新机制。
BigTable 存储技术:针对海量数据的存储和检索需求,目前已有大量的 NoSQL 数据库产品支持,例如基于 HDFS 的 Hbase、针对文档类数据存储的 MongoDB、支持列存储的Cassandra等,均有大量的应用先例。同时,基于传统的关系型数据库 Oracle、SQLServer、Mysql 等,也都有分库、分表的策略适用。以上技术已较为成熟,在具体应用中将采取一种或几种技术来搭建科技创新知识服务平台的底层存储,确保在存储技术上的稳定性与高性能要求。