网络计算环境 数据管理PDF格式文档图书下载

第一篇 概论 3

第1章 数据管理背景 3

1.1 数据增长 3

1.2 数据管理目标 5

1.3 数据管理功能 6

1.3.1 数据存储 7

1.3.2 元数据管理 7

1.3.3 副本管理 8

1.3.4 数据传输管理 9

1.3.5 存储资源管理 10

1.3.6 结构化数据的访问与整合 10

1.4 本书结构 10

1.5 本章小结 12

第2章 数据管理需求与挑战 13

2.1 高能物理 13

2.1.1 大型强子对撞机 13

2.1.2 北京正负电子对撞机 14

2.1.3 羊八井宇宙线实验 15

2.2 生物信息 16

2.2.1 生物信息学 16

2.2.2 基因研究 17

2.3 虚拟天文台 17

2.4 地质地理 19

2.5 其他领域 20

2.6 数据管理挑战 21

2.7 本章小结 21

第二篇 非结构化数据管理 25

第3章 数据管理体系结构 25

3.1 引言 25

3.2 科学数据管理的体系结构 26

3.3 本章小结 28

参考文献 28

第4章 数据存储 29

4.1 引言 29

4.2 存储技术概述 30

4.3 分布式文件系统 36

4.3.1 Lustre文件系统 36

4.3.2 Gluster文件系统 38

4.3.3 全局并行文件系统（GPFS） 49

4.3.4 Panasas文件系统 51

4.3.5 并行虚拟文件系统（PVFS） 53

4.4 分级存储系统 54

4.4.1 CASTOR存储系统 55

4.4.2 dCache存储系统 58

4.4.3 dCache的副本机制 60

4.5 云存储技术 62

4.5.1 亚马逊云存储服务S3 62

4.5.2 微软的Azure存储 65

4.5.3 Hadoop的开源云存储解决方案 65

4.5.4 Openstack的Swift 69

4.5.5 Nimbus的Cumulus云存储 70

4.5.6 云存储技术在科学数据管理中的应用 71

4.6 数据备份系统 73

4.6.1 常见备份技术 73

4.6.2 备份系统的基本结构 76

4.7 本章小结 78

参考文献 78

第5章 元数据管理 80

5.1 简介 80

5.1.1 LFC 81

5.1.2 AMGA 85

5.1.3 DQ2 87

5.2 副本管理 90

5.2.1 副本创建 92

5.2.2 副本选择 94

5.2.3 副本删除 95

5.2.4 副本定位 95

5.2.5 副本一致性 96

5.2.6 副本安全性 97

5.3 本章小结 98

参考文献 98

第6章 数据传输 100

6.1 GridFTP 101

6.1.1 GridFTP的功能特性 101

6.1.2 GridFTP的API 103

6.2 bbFTP 104

6.2.1 与FTP和SSH的比较 104

6.2.2 bbFTP的安装 105

6.2.3 bbFTP的选项命令 105

6.3 可靠文件传输 106

6.3.1 可靠性含义 106

6.3.2 组成结构 106

6.4 副本定位 108

6.4.1 RLS的几点要素 109

6.4.2 Giggle框架 109

6.5 FTS 111

6.5.1 通道 111

6.5.2 代理 112

6.6 PheDex 112

6.6.1 PheDex的结构 113

6.6.2 PheDex的运行 114

6.7 BES数据传输系统 114

6.7.1 主要特性 115

6.7.2 组成结构 115

6.7.3 实际应用 117

6.8 本章小结 118

参考文献 118

第7章 存储资源管理 120

7.1 简介 120

7.2 SRM 121

7.2.1 应用场景 121

7.2.2 SRM在网格体系中的定位 124

7.2.3 SRM在网格中的优势 127

7.3 文件管理 128

7.3.1 永久文件和稳定临时文件 129

7.3.2 持久文件 129

7.4 空间管理 130

7.4.1 空间类型 130

7.4.2 “最大努力”空间 131

7.4.3 分配文件到空间 132

7.5 其他重要的SRM概念 132

7.5.1 传输协议协商 132

7.5.2 其他协商和行为广告 133

7.5.3 源路径、传输路径和站点路径 133

7.5.4 PIN文件的语义 134

7.6 SRM实现实例 136

7.6.1 使用SRM管理海量存储系统 137

7.6.2 SRM提供的健壮的文件复制 138

7.6.3 通过SRM向存储系统提供GridFTP接口 139

7.7 本章小结 140

参考文献 140

第8章 数据管理标准 142

8.1 传输协议 142

8.1.1 FTP 142

8.1.2 HTTP 144

8.1.3 GridFTP 148

8.1.4 Restful Web服务 149

8.1.5 WebDAV 150

8.1.6 S3 151

8.2 管理接口标准 153

8.2.1 SRM 153

8.2.2 OCCI 155

8.2.3 CDMI 158

8.2.4 Simple Cloud API 160

8.3 本章小结 161

参考文献 161

第三篇 结构化数据管理 165

第9章 OGSA-DAI 165

9.1 概述 165

9.2 基本架构 166

9.3 工作流与活动 170

9.4 使用OGSA-DAI 172

9.4.1 部署数据资源 172

9.4.2 活动的使用 173

9.4.3 工作流的使用 174

9.5 本章小结 176

参考文献 176

第10章 异构数据库整合 177

10.1 基本概念 177

10.2 系统结构 178

10.3 对外功能和接口 179

10.3.1 数据提供者接口 180

10.3.2 开发人员接口 180

10.4 内部工作流程 182

10.5 异构数据库整合系统的软件结构 184

10.5.1 概述 184

10.5.2 核心服务类 185

10.5.3 虚拟活动管理类 186

10.5.4 虚拟活动对象类 186

10.5.5 执行引擎类 187

10.5.6 SQL解析器类 188

10.5.7 物理活动管理类 191

10.6 参考实现：CGSP HDB 192

10.6.1 概述 192

10.6.2 虚拟表及其支持的数据类型 193

10.6.3 映射表和数据类型映射 194

10.6.4 执行文档和响应文档示例 197

10.7 本章小结 197

参考文献 198

第四篇 应用实例 201

第11章 高能物理网格数据管理 201

11.1 网格技术在高能物理领域的应用 201

11.2 高能物理网格中数据服务管理 202

11.3 高能物理网格中数据服务组件 203

11.3.1 元数据服务器 204

11.3.2 数据集管理系统 205

11.4 一个具体的工作流程 206

11.5 本章小结 207

参考文献 207

第12章 虚拟天文台数据管理 209

12.1 网格技术在天文领域的应用 209

12.2 虚拟天文台中数据服务组件 211

12.2.1 天文数据的特点 211

12.2.2 开放网格服务架构的数据访问与集成 212

12.2.3 虚拟天文台数据访问服务 213

12.3 数据服务举例 214

12.3.1 中国虚拟天文台VO-DAS 214

12.3.2 VO-DAS的系统集成 216

12.4 本章小结 218

参考文献 218

查看更多关于网络计算环境 数据管理的内容