HaoLap:基于Hadoop的海量数据OLAP系统

被引：4

作者：

郭朝鹏 ^{[1
]}

王智 ^{[1
]}

韩峰 ^{[1
]}

张一川 ^{[1
]}

宋杰 ^{[1
]}

机构：

[1] 东北大学软件学院

来源：

计算机研究与发展 | 2013年 / 50(S1)卷 / S1期

关键词：

多维数据模型; OLAP; 海量数据; HDFS; MapReduce;

D O I：

暂无

中图分类号：

TP311.13 [];

学科分类号：

1201 ;

摘要：

近年来,随着计算机技术的发展及其在互联网、传感器和科学数据分析等领域的广泛应用,数据量爆炸性地增长,海量数据给传统的数据管理和分析带来新的挑战,学界和业界广泛采用分布式文件系统和MapReduce编程模型来应对这一挑战.介绍了HaoLap(Hadoop based OLAP),一种基于Hadoop分布式文件系统(HDFS)和MapReduce编程模型的海量数据OLAP系统.本研究吸取了MOLAP的经验:采用元数据存储多维模型以及HDFS存储事实数据,采用编码完成维和事实数据的映射,采用MapReduce完成OLAP运算.描述了HaoLap的关键技术,包括系统结构、维定义和编码、事实数据存储和编码、OLAP算法和服务接口.介绍了HaoLap在科学数据分析的应用案例,并与主流非关系数据管理系统进行性能对比.实验结果表明,尽管数据装载性能略显不足,但HaoLap的OLAP性能要优于HBase,Hive,HadoopDB等主流非关系数据管理系统.

引用

页码：378 / 383

页数：6