数据密集型科学与工程:需求和挑战

被引：74
|
作者：
宫学庆 [1 ]
金澈清 [1 ]
王晓玲 [1 ,2 ]
张蓉 [1 ]
周傲英 [1 ,2 ]
机构：
[1] 华东师范大学软件学院 上海市高可信计算重点实验室
[2] 复旦大学上海市智能信息处理实验室
来源：
计算机学报 | 2012年 / 35卷 / 08期
关键词：
大数据; 数据密集型科学与工程; 需求; 挑战;
D O I：
暂无
中图分类号：
TP311.13 [];
学科分类号：
1201 ;
摘要：
科学研究在经历了实验科学、理论科学、计算科学阶段后,进入了数据密集型科学阶段,与之相伴的是大数据时代的到来.大数据泛指规模达到几百TB,甚至PB级的数据①,其典型的特征是分布、异构、低质量等.尽管传统数据库管理技术(特别是商业关系型数据库)在过去40年间取得了巨大成功,但是这些技术和系统无法有效管理支持数据密集型科学与工程(Data-Intensive Science and Engineering,DISE)的大数据.文中探讨数据密集型科学与工程的具体需求和现实挑战.它涵盖的内容表现在4个层面,包括数据存储与组织、计算方法、数据分析以及用户接口技术等.同时,数据质量、数据安全、数据监护等内容也需要在各层面得到重视.文中尝试梳理了数据密集型科学与工程的整体架构,回顾了相关领域的新近发展,分析了面临的挑战,探讨了未来的研究方向.
引用
收藏
页码：1563 / 1578
页数：16
相关论文
共 12 条
  • [1] 构造基于互联网的可信软件生产服务系统
    尹刚
    王怀民
    袁霖
    朱沿旭
    史殿习
    米海波
    [J]. 计算机科学与探索, 2011, (10) : 880 - 890
  • [2] 数据监护:美国高校图书馆的新探索
    杨鹤林
    [J]. 大学图书馆学报, 2011, 29 (02) : 18 - 21
  • [3] 数据库服务——安全与隐私保护
    田秀霞
    王晓玲
    高明
    周傲英
    [J]. 软件学报, 2010, 21 (05) : 991 - 1006
  • [4] 重复数据删除技术
    敖莉
    舒继武
    李明强
    [J]. 软件学报, 2010, 21 (05) : 916 - 929
  • [5] 数据世系管理技术研究综述
    高明
    金澈清
    王晓玲
    田秀霞
    周傲英
    [J]. 计算机学报, 2010, 33 (03) : 373 - 389
  • [6] 网构软件技术体系:一种以体系结构为中心的途径[J]. 杨芙清,吕建,梅宏.中国科学(E辑:信息科学). 2008(06)
  • [7] Deep Web数据集成研究综述
    刘伟
    孟小峰
    孟卫一
    [J]. 计算机学报, 2007, (09) : 1475 - 1489
  • [8] Hadoop权威指南[M]. 清华大学出版社 , (美) 怀特 (White, 2011
  • [9] A performance study of general-purpose applications on graphics processors using CUDA
    Che, Shuai
    Boyer, Michael
    Meng, Jiayuan
    Tarjan, David
    Sheaffer, Jeremy W.
    Skadron, Kevin
    [J]. JOURNAL OF PARALLEL AND DISTRIBUTED COMPUTING, 2008, 68 (10) : 1370 - 1380
  • [10] Partially materialized digest scheme: an efficient verification method for outsourced databases[J] . Kyriakos Mouratidis,Dimitris Sacharidis,HweeHwa Pang.The VLDB Journal . 2009 (1)
12