大数据分析——RDBMS与MapReduce的竞争与共生

被引：374
|
作者：
覃雄派 [1 ,2 ]
王会举 [1 ,2 ]
杜小勇 [1 ,2 ]
王珊 [1 ,2 ]
机构：
[1] 教育部数据工程与知识工程重点实验室(中国人民大学)
[2] 中国人民大学信息学院
来源：
软件学报 | 2012年 / 23卷 / 01期
关键词：
大数据; 深度分析; 关系数据管理技术; MapReduce;
D O I：
暂无
中图分类号：
TP311.13 [];
学科分类号：
1201 ;
摘要：
在科学研究、计算机仿真、互联网应用、电子商务等诸多应用领域,数据量正在以极快的速度增长,为了分析和利用这些庞大的数据资源,必须依赖有效的数据分析技术.传统的关系数据管理技术(并行数据库)经过了将近40年的发展,在扩展性方面遇到了巨大的障碍,无法胜任大数据分析的任务;而以MapReduce为代表的非关系数据管理和分析技术异军突起,以其良好的扩展性、容错性和大规模并行处理的优势,从互联网信息搜索领域开始,进而在数据分析的诸多领域和关系数据管理技术展开了竞争.关系数据管理技术阵营在丧失搜索这个阵地之后,开始考虑自身的局限性,不断借鉴MapReduce的优秀思想改造自身,而以MapReduce为代表的非关系数据管理技术阵营,从关系数据管理技术所积累的宝贵财富中挖掘可以借鉴的技术和方法,不断解决其性能问题.面向大数据的深度分析需求,新的架构模式正在涌现.关系数据管理技术和非关系数据管理技术在不断的竞争中互相取长补短,在新的大数据分析生态系统内找到自己的位置.
引用
收藏
页码：32 / 45
页数：14
相关论文
共 5 条
  • [1] MapReduce and parallel DBMSs[J] . Michael Stonebraker,Daniel Abadi,David J. DeWitt,Sam Madden,Erik Paulson,Andrew Pavlo,Alexander Rasin.Communications of the ACM . 2010 (1)
  • [2] MapReduce[J] . Jeffrey Dean,Sanjay Ghemawat.Communications of the ACM . 2010 (1)
  • [3] Dryad[J] . Michael Isard,Mihai Budiu,Yuan Yu,Andrew Birrell,Dennis Fetterly.ACM SIGOPS Operating Systems Review . 2007 (3)
  • [4] HadoopDB in action:Building re al world applications. Abouzied A,Bajda-Pawlikowski K,Huang JW,AbadiDJ,Silberschatz A. Proc.of the SIGMOD . 2010
  • [5] HadoopDB:An architectural hybridof MapReduce and DBMS technologes for analyticalworkloads. Abouzeid A,Bajda-Pawlikowski K,Abadi D,Silbers chatz A,Rasin A. PVLDB . 2009
1