[硕士论文] 虚拟天文台数据访问服务(VO-DAS)之任务调度研究及VO-DAS的应用
- 格式：pdf
- 大小：1.84 MB
- 文档页数：72
下载文档原格式
合集下载
虚拟天文台环境下的大众教育
虚拟天文台环境下的科学教育
天文学的基本概念和新的发现，能激发人们刨根问底 科协进行的第四次我国公众科学素养调查表明： 的科学激情，使人类对自己的本质及其在宇宙中的地 位进行深入思考，帮助人们掌握科学的思维方法，树 立正确的宇宙观。 结论一：具备基本科学素养的公众比例为 公众素养急待提高
1.4％
引导社会良性健康发展；
培育具有反思性、批判性的公众知识分子与健全的国民。
目
录
虚拟天文台环境下的教育理念 虚拟天文台环境下的天文教育 虚拟天文台环境下的科学教育
虚拟天文台环境下的天文教育
• 前提: 大部分数据实现在线服务 天 • 结论： Internet 是世界上最好的望远镜: 文
– 拥有每一部分天区的数据 – 拥有每个波段的观测数据
是研究性学习的良好平台。VO提供开放的学习环境， 建立挖掘数据的通道，广大爱好者、学习者可以真正 象科学家那样进行学习、探索、研究以及发现等工作, 在探索的过程中不仅学习了科学知识，还逐步培养科 学方法、态度和精神。
可以实现多层面的学习需求。由于网络资源具有网状 结构，因而学习者拥有学习过程的主动权，可以按照 符合自己知识结构和兴趣特点的超链接构建自己的知 识，可以体验多种情境和检验不同的观点。知识不再 是必须被动接受的，需要机械记忆的东西。以量级天 文学为例，普通爱好者和学习者可以通过图文了解从 地球107m到宇宙1027m的数量级，而更高层次的学习者 可以通过相关的理论公式进入到数量级所对应的能量 世界里。
VO(虚拟天文台)
天文数据
天文文献 天文研究资源
科学家
计算资源
VO
数据收集 数据处理
各种软件工具
观测设备
中国科学院研究生院
分类号密级：UDC 编号：中国科学院研究生院硕士学位论文中国虚拟天文台可视化设计及实现邵惠娟指导老师：赵永恒研究员中国科学院国家天文台申请学位级别: 硕士学科专业名称：天体物理论文提交日期: 2004年6月论文答辩日期：2004年7月培养单位：中国科学院国家天文台学位授予单位：中国科学院研究生院答辩委员会主席：阎保平中国科学院研究生院研究生论文中国虚拟天文台可视化设计及实现作者邵惠娟指导老师赵永恒学科专业天体物理研究方向天文数据处理方法申请学位硕士培养单位国家天文台二〇〇四年六月National Astronomical Observatory Chinese Academy of SciencesDesign and Realization ofVisualization forChinese Virtual ObservatoryH u i j u a n S h a oA d v i s o r:P r o f.Y o n g h e n g Z h a oJune 2004摘要随着地面和空间观测站的建立、探测器灵敏度的提高、望远镜口径的增大，天文界正面临着“数据雪崩”的问题。
如何通过现代计算机软硬件和网络系统有效地对这些PB量级的数据进行存储、计算、统计、分析和显示，成为天文学面临的一大问题。
在这样的背景下，虚拟天文台应运而生。
各国虚拟天文台正致力于通过数据网格来实现海量分布式数据的管理和统一访问等功能。
数据可视化是虚拟天文台中必不可少的一部分。
它能够从大量的数据中提取有用的信息，或者得到其他方式的不容易察觉的数据特征，以用户需要的形式展现给用户。
最主要的是它能够通过网络，通过表格、图形、图像、视频甚至虚拟现实方式给用户以直观的感受。
本文着重阐述了对天文星表数据和天文图像的可视化设计及实现方法。
天文星表包括Hipparcos，Tycho2，GSC1.2，GSC2.2，USNO A2.0，USNO B1.0，UCAC2等天文学家常用的星表；星图包括DSS-I全天星图。
LAMOST与虚拟天文台-China-VO
对SDSS的Commissioning Data中,选取了173 plates, 得到8267个Cut I选样品和1284 Cut II选样品 进行光谱观测验证 选择方法的有效性 Cut I: Cut II:
96% 90%
类似的方法实际上在天文观测中已应用: 类星体的选取：radio lound UV QSO ultraluminous IRS galaxies GRB : afterglows
LAMOST 与
虚拟天文台
*“ 虚拟天文台”概念的兴起，起源于国 际上一大批各个波段的大规模巡天计划。 *LAMOST 是一台具有强大光学光谱巡天 工作能力的望远镜。 虚拟天文台的兴起给LAMOST发展提供了 机遇和挑战。
LAMOST与虚拟天文台的关系
LAMOST必将会从虚拟天文台中选取观测 目标 LAMOST 是对选定目标的进行光谱巡天的 望远镜 , 输入星表的选取决定了 LAMOST 的科学产出。 LAMOST的观测结果，将成为国际虚拟天 文台中的一个重要组成部分。
星系样品的选择的重要性
如何更好地（系统而有效地）应用 这些资料 如何从巨大的数据库中挖掘出新的 “科学”
选择不同的星系，对我们的研 究结论将会有关键性的作用
*星系自身内禀的性质是丰富和多变的
光度,形态 ,光谱能量的分布（SED） *我们甚至不清楚各类星系之间的关系 星系形成和演化的规律？ *对宇宙学研究 宇宙中物质90%是暗物质、暗能量 星系仅仅作为宇宙中物质分布的一种标志 物，各类不同的星系与宇宙中物质分布的关系, bias
已知天体的性质和种类 方法: 例如有K种不同天体
*根据一定的理论模型、计算出在参数空间中 样品的分布特性 *选择最有效的参数维数 *利用理论模型或实测的资料，通过计算机学习的方 式，教会计算机自动选取样品 ANN（Artification Neual Neat） DT（Decision Tree）
96% 90%
类似的方法实际上在天文观测中已应用: 类星体的选取：radio lound UV QSO ultraluminous IRS galaxies GRB : afterglows
LAMOST 与
虚拟天文台
*“ 虚拟天文台”概念的兴起，起源于国 际上一大批各个波段的大规模巡天计划。 *LAMOST 是一台具有强大光学光谱巡天 工作能力的望远镜。 虚拟天文台的兴起给LAMOST发展提供了 机遇和挑战。
LAMOST与虚拟天文台的关系
LAMOST必将会从虚拟天文台中选取观测 目标 LAMOST 是对选定目标的进行光谱巡天的 望远镜 , 输入星表的选取决定了 LAMOST 的科学产出。 LAMOST的观测结果，将成为国际虚拟天 文台中的一个重要组成部分。
星系样品的选择的重要性
如何更好地（系统而有效地）应用 这些资料 如何从巨大的数据库中挖掘出新的 “科学”
选择不同的星系，对我们的研 究结论将会有关键性的作用
*星系自身内禀的性质是丰富和多变的
光度,形态 ,光谱能量的分布（SED） *我们甚至不清楚各类星系之间的关系 星系形成和演化的规律？ *对宇宙学研究 宇宙中物质90%是暗物质、暗能量 星系仅仅作为宇宙中物质分布的一种标志 物，各类不同的星系与宇宙中物质分布的关系, bias
已知天体的性质和种类 方法: 例如有K种不同天体
*根据一定的理论模型、计算出在参数空间中 样品的分布特性 *选择最有效的参数维数 *利用理论模型或实测的资料，通过计算机学习的方 式，教会计算机自动选取样品 ANN（Artification Neual Neat） DT（Decision Tree）
福建虚拟天文台(Fujian-VO)系统的构建及实现
拟 天文台 Ａ Ｏ Ｔ Ｌ Ｍ Ｓ 和网格技术
当 前 的 建 设 贡 献 自 己这 份 微 薄 的 力量 。 本 文 首 先 简要 介绍 目前 虚 拟 天 文 台 的 研究 现 状 ， 而 阐 明 关 于 建 设 福 建 虚 拟 天 文 台 的 继 设 计 思 路和 模拟 操 作 系统 的 功 能 简 介和 实 例 运 用 ， 后 就 实 际 建 设 福 建 虚 拟 天 文 台 最
一
四百 年 前 伽 利 略 首 次 把 望 远 镜 指 向天 空 ， 束 了人 类 一 直 用 肉 眼进 行 天 文 观 测 结 的历史。９ 纪中期 ， ｌ世 照相 技 术 和 光谱 技 术 开 始 在 天 文观 测 中 应 用 ， 纯 以 人 眼作 为 单 天 文 探 测 器 的 时 代 结 束 ， 体 物 理 学 诞 生 天 并 发展 成 为 现 代 天 文学 的 主 流 。 世纪 前 ， 半 在 第 二次 世 界 大 战 中 得 到 蓬勃 发 展 的无 线 电技 术 使得 天 文 学 家 的 视 野超 出 了可 见 光 范 围 ， 电 天 文学 诞 生 。 后 不 久 宇航 时 代 射 此 到 来 ， 天候 和 全 波 段 的 空 间 天文 学 诞 生 。 全 望远 镜 技 术 的 进 步使 得人 类 可 以 建 造 大 型 的空 间天文 台 ， ｙ射 线 、 射 线 、 为 ｘ 光学 和 红 外 天 文 的 发 展 开 辟 了 新 的 前 景 ， 另 一 方 在 面 也促 进 了新 一 代 的大 口径 地 面 光 学 望 远 镜 和 射 电望远 镜 的建 造 。 在 ， 多 国 家 正 现 许 在 计划建造功能更好 、 口径 更 大 的 空 间 和 地 面 望 远 镜 ， 配 备 尺 寸 更大 、 素 更 多 的 并 象 探 测 器 。 着 众 多 先 进 天 文 设 备 的 投 入 使 随 用 ， 必有 大 规 模 的 观测 数据 出现 ， 势 面对 海 量 数 据 的 传 输 和 处 理 问题 ， 助 计 算 机 网 借 络技术解决是最切 合需要的办法 。 ２ 世 纪 是航 天时 代和 信 息 时 代 的新 世 １ 纪 ， 取 天 文 信息 在 我 们 的 生 活 中 具 有 重 获 要 作 用 ， 界 各 国 也 都 高 度 关 注 着 天 文 事 世 业 的发 展 。 目前 ， 我 国的 各 地 都有 开 设 不 在
当 前 的 建 设 贡 献 自 己这 份 微 薄 的 力量 。 本 文 首 先 简要 介绍 目前 虚 拟 天 文 台 的 研究 现 状 ， 而 阐 明 关 于 建 设 福 建 虚 拟 天 文 台 的 继 设 计 思 路和 模拟 操 作 系统 的 功 能 简 介和 实 例 运 用 ， 后 就 实 际 建 设 福 建 虚 拟 天 文 台 最
一
四百 年 前 伽 利 略 首 次 把 望 远 镜 指 向天 空 ， 束 了人 类 一 直 用 肉 眼进 行 天 文 观 测 结 的历史。９ 纪中期 ， ｌ世 照相 技 术 和 光谱 技 术 开 始 在 天 文观 测 中 应 用 ， 纯 以 人 眼作 为 单 天 文 探 测 器 的 时 代 结 束 ， 体 物 理 学 诞 生 天 并 发展 成 为 现 代 天 文学 的 主 流 。 世纪 前 ， 半 在 第 二次 世 界 大 战 中 得 到 蓬勃 发 展 的无 线 电技 术 使得 天 文 学 家 的 视 野超 出 了可 见 光 范 围 ， 电 天 文学 诞 生 。 后 不 久 宇航 时 代 射 此 到 来 ， 天候 和 全 波 段 的 空 间 天文 学 诞 生 。 全 望远 镜 技 术 的 进 步使 得人 类 可 以 建 造 大 型 的空 间天文 台 ， ｙ射 线 、 射 线 、 为 ｘ 光学 和 红 外 天 文 的 发 展 开 辟 了 新 的 前 景 ， 另 一 方 在 面 也促 进 了新 一 代 的大 口径 地 面 光 学 望 远 镜 和 射 电望远 镜 的建 造 。 在 ， 多 国 家 正 现 许 在 计划建造功能更好 、 口径 更 大 的 空 间 和 地 面 望 远 镜 ， 配 备 尺 寸 更大 、 素 更 多 的 并 象 探 测 器 。 着 众 多 先 进 天 文 设 备 的 投 入 使 随 用 ， 必有 大 规 模 的 观测 数据 出现 ， 势 面对 海 量 数 据 的 传 输 和 处 理 问题 ， 助 计 算 机 网 借 络技术解决是最切 合需要的办法 。 ２ 世 纪 是航 天时 代和 信 息 时 代 的新 世 １ 纪 ， 取 天 文 信息 在 我 们 的 生 活 中 具 有 重 获 要 作 用 ， 界 各 国 也 都 高 度 关 注 着 天 文 事 世 业 的发 展 。 目前 ， 我 国的 各 地 都有 开 设 不 在
虚拟天文台PPT课件
背景 星系团代表了已知最大的明确的质量结团现象, 不同的早期宇宙演化模型预言了不同的星系团的 形成和演化。这些模型可以通过将预言与观测的 星系团的质量和光度函数进行比较加以验证
-
15
科学目标
这个项目的目标是建立无偏的, 在宇宙学意 义上有相当红移跨度的星系团样本，通过 与观测到的质量和光度函数随红移演化的比 较, 来检验各种结构形成与演化的模型。另外， 这些样本也可以用来研究星系的形态——密 度关系及其在特定时间尺度上的演化。
Total area of 3m+ telescopes in the world in m2, total number
of CCD pixels in Megapix, as a function of time. Growth over
25 years is a factor of 30 in glass, 3000 in pixels.
-
9
为虚拟天文台 设计的几个例子
-
10
例＃1：活动星系核（AGN）的 全波段研究
背景
AGN的高光度: 使他们在很大的宇宙距离上可见 AGN代表了星系演化的一个基本阶段, 在观测上，由於AGN的光谱能量分布比一般黑体谱宽
很多, 易于从恒星中分辨出来。 但是，红移，光变，（可能很大的）被遮挡，以及内
• Provide a list of moving objects consistent with an asteroid, based on all the surveys, estimate possible orbit parameters
• Find binary stars where at least one of them has the colors of a white dwarf, within the error boxes of hard x-ray sources
-
15
科学目标
这个项目的目标是建立无偏的, 在宇宙学意 义上有相当红移跨度的星系团样本，通过 与观测到的质量和光度函数随红移演化的比 较, 来检验各种结构形成与演化的模型。另外， 这些样本也可以用来研究星系的形态——密 度关系及其在特定时间尺度上的演化。
Total area of 3m+ telescopes in the world in m2, total number
of CCD pixels in Megapix, as a function of time. Growth over
25 years is a factor of 30 in glass, 3000 in pixels.
-
9
为虚拟天文台 设计的几个例子
-
10
例＃1：活动星系核（AGN）的 全波段研究
背景
AGN的高光度: 使他们在很大的宇宙距离上可见 AGN代表了星系演化的一个基本阶段, 在观测上，由於AGN的光谱能量分布比一般黑体谱宽
很多, 易于从恒星中分辨出来。 但是，红移，光变，（可能很大的）被遮挡，以及内
• Provide a list of moving objects consistent with an asteroid, based on all the surveys, estimate possible orbit parameters
• Find binary stars where at least one of them has the colors of a white dwarf, within the error boxes of hard x-ray sources
崔辰州：“数据驱动的天文科普”人生
崔辰州：“数据驱动的天文科普”人生作者：王军礼来源：《科学中国人》2017年第11期虽然说科普是科学家的责任和社会担当，但其实很少有科学家将科普做得很好，不过在2013年的时候我见识到了一位将科普做得很好的科学家。
在许多人眼里他是名副其实的“天文学家”：国家天文台博士毕业后留台工作，从助理研究员、副研究员、研究员到信息与计算中心主任。
他通过新兴信息技术手段将天文学数据结合，主持创建了中国虚拟天文台（China-VO），他是谁呢？他就是崔辰州。
而实际上，崔辰州的人生还远不止这些。
离不开的天文科普每个人都有一个梦想，每个人都有一种热爱。
有多少人从孩提时代开始就树立了成为科学家的伟大志向，然而又有多少人一直坚持最初的梦想和曾经的热爱，最终走到了理想的彼岸呢？我想，崔辰州就是一个代表，他和儿时的我们一样，对星空怀揣敬畏和无限遐想。
出于对天文的热爱与坚持，在崔辰州决定从事天文领域研究的那时起，就与天文科普结下了不解之缘。
20年如一日，他把自己最美好的年华都奉献给了天文学的研究与科普。
1997年，也就是崔辰州大学本科毕业的那一年，他考入国家天文台攻读天体物理硕士学位，攻读硕士期间他学习成绩十分优异，曾获得2000年度的中国科学院刘永龄奖学金。
2000年9月，崔辰州开始在国家天文台攻读天文技术与方法博士学位，期间获得中国科学院研究生奖学金以及北京天文学会颁发的天文科普奖，他的博士论文《中国虚拟天文台系统设计》是国际上第一篇研究虚拟天文台的博士论文，为建设中国虚拟天文台奠定了坚实的理论基础。
以此，博士毕业后崔辰州留台工作，一直致力于“虚拟天文台”“数据驱动的天文科普”“云计算、网格技术”“银河系结构与演化”等天文学相关领域的研究。
他已在N e w A s t r o n o m y，Chinese Science Bulletin，Progress in Astronomy，SPIE，Proceedings of the International Astronomical Research & Technology等国际知名期刊和会议上发表论文100多篇，编著专著《虚拟天文台：天文学研究的工具与技术》，参编《英汉天文学名词》。
中国虚拟天文台--云平台中的虚拟机及软件环境-China-VO
中国虚拟天文台-云平台中的虚拟机及软件环境
米琳莹 国家天文台
虚拟机的使用与软件环境配置
/
云资源
虚拟机的使用: 浏览器访问 VNC客户端访问 SSH客户端访问
虚拟机的使用与软件环境配置
使用传统计算机
一旦系统出现问题，需要重新装机 如果有多台设备，需要重复进行软件环境配置
使用虚拟机，您可以：
避免浪费大量时间进行装机
摆脱复杂的软件环境配置流程
将繁琐的装机过程，从传统的安装操作系统变成简的系
统镜像文件拷贝
虚拟机的使用与软件环境配置
云平台可以提供：
在线安装虚拟机系统 个性化虚拟机模板定制
存储空间的动态申请
私有网络及共享网络两种网络管理方式 详细的用户使用日志
申请者对拥有的虚拟机实例及存储空间具有绝对 控制权，并且完全私有
虚拟机的使用与软件环境配置
虚拟机的使用与软件环境配置
Scisoft
/sci/software/scisoft/Scisof t-contents.html
IRAF2.5 Eclipse 5.0 ESO-MIDAS 11Sep pl1.1 PyMidas 1.0.5 IDL 8.1 SAOImage 1.35.1 DS9 6.2 Skycat 3.1.2 Python 2.7.2 VO tools
如何创建虚拟机实例-通过iso安装
如何将已配置好软件环境的虚拟机实例 制作成模板？
如何创建虚拟机实例-通过模板
如何为虚拟机实例添加存储空间？
谢谢！
虚拟机的使用与软件环境配置
1、如何创建虚拟机实例？ 2、如何将已配置好软件环境的虚拟机实例制作 成模板？ 2、如何为虚拟机实例添加存储空虚拟机实例？
米琳莹 国家天文台
虚拟机的使用与软件环境配置
/
云资源
虚拟机的使用: 浏览器访问 VNC客户端访问 SSH客户端访问
虚拟机的使用与软件环境配置
使用传统计算机
一旦系统出现问题，需要重新装机 如果有多台设备，需要重复进行软件环境配置
使用虚拟机，您可以：
避免浪费大量时间进行装机
摆脱复杂的软件环境配置流程
将繁琐的装机过程，从传统的安装操作系统变成简的系
统镜像文件拷贝
虚拟机的使用与软件环境配置
云平台可以提供：
在线安装虚拟机系统 个性化虚拟机模板定制
存储空间的动态申请
私有网络及共享网络两种网络管理方式 详细的用户使用日志
申请者对拥有的虚拟机实例及存储空间具有绝对 控制权，并且完全私有
虚拟机的使用与软件环境配置
虚拟机的使用与软件环境配置
Scisoft
/sci/software/scisoft/Scisof t-contents.html
IRAF2.5 Eclipse 5.0 ESO-MIDAS 11Sep pl1.1 PyMidas 1.0.5 IDL 8.1 SAOImage 1.35.1 DS9 6.2 Skycat 3.1.2 Python 2.7.2 VO tools
如何创建虚拟机实例-通过iso安装
如何将已配置好软件环境的虚拟机实例 制作成模板？
如何创建虚拟机实例-通过模板
如何为虚拟机实例添加存储空间？
谢谢！
虚拟机的使用与软件环境配置
1、如何创建虚拟机实例？ 2、如何将已配置好软件环境的虚拟机实例制作 成模板？ 2、如何为虚拟机实例添加存储空虚拟机实例？
中国虚拟天文台交叉证认工具的开发和应用
第49卷第3期2008年7月天文学报A C T A A ST R oN oM I C A SI N I C AV oL49N o．3J ul．，2008中国虚拟天文台交叉证认工具的开发和应用*高丹+张彦霞赵永恒(中国科学院国家天文台北京100012)摘要随着空间和地面巡天项目的发展，天文数据呈指数增长，天文学已发展到全波段的天文学时代．为了应对形势的需要，虚拟天文台应运而生．为了使天文学家做起科学来更方便快捷，虚拟天文台项目开发了各种实用工具．在数据融合方面，中国虚拟天文台项目开发了交叉证认工具．该工具主要实现了两个服务：一个是服务器端两星表交叉证认；另一个是用户上传星表与服务器端星表交叉证认．前者两星表直接进行交叉证认，后者则先将本地数据自动入库再进行交叉证认．程序还实现了对交叉证认结果的分类和参数的自由选择等功能，以及与可视化工具v()Pl ot的集成．该工具以客户端／服务器端模式的w e b网页形式发布．此工具为多波段数据融合提供了便利，是对两个大星表交叉证认工作的预研究．在以后的工作中，将不断地更新和完善该工具，并将在此基础之上进一步开发统计分析和数据挖掘等工具．关键词方法：数据分析，方法：统计，天文数据库，星表，巡天中图分类号：P114；文献标识码：A1引言随着科学技术的发展，天文学步入了数据丰富的时代，数据以T B、甚至PB量级计量．天文数据覆盖了从伽玛射线、X射线、紫外、光学、红外到射电等波段，天文学发展成为全波段天文学．各个波段的数据是高度相关的．若要获得对天体或天文现象更深入全面的认识和理解，需要在多波段的高维参数空间内进行探索和研究．融合的数据通常能促进新的天体、现象或规律的发现．例如：可见光波段与射电波段数据的融合发现了类星体．而来自不同项目、波段和时间的各种数据的共同属性只有位置，因而若想融合各个波段的数据，位置交叉证认是关键．通过证认可以对天体的物理性质、演化规律获得更全面系统的认识，加深对证认源的新的天文理解，为统计分析、数据挖掘做准备．而研究天体在多维参数空间中的分布，提取的天体的信息越多，越有利于天体的分类．另外，通过多波段交叉证认，增加了发现新天体的概率．天体多波段交叉证认是L A M O s T项目(t he L ar ge Sky A r ea M ul t i一0bj ect Fi ber Spe ct r osc opi c T e l e sc ope，LA M O ST)的科学目标的三大核心课题之一[1]，也是要求数据融合的虚拟天文台项目的底层技术之一[2-3]．正是基2007一06—26收到原稿，2008一01一07收到修改稿*国家自然科学基金(10473013，90412016，10778724)资助项目十gaoda n2008@gr Il ai l．c om3期高丹等：中国虚拟天文台交叉证认工具的开发和应用349于这些因素，我们更加需要开发切实可行的、方便友好的交叉证认工具，一方面解决天文学家由于无法方便地获得大量多波段数据而难以进行多波段数据研究的课题；另一方面为中国虚拟天文台项目探讨从底层的数据到融合数据再到数据的可视化和挖掘提供技术支持．2国外研究现状随着计算机、互联网技术的发展，海量的天文数据有了比较好的归档，并提供了互联网服务．世界上已有多家天文数据中心和虚拟天文台项目在天文数据存储、查询和分析等方面做了大量的工作，并开发了一系列实用工具．其中不少的工具可以实现交叉证认服务．目前，国外常用的交叉证认工具有：vi zi eR、Si m bad、A1adi n、M A ST、E SO、N ED、O penSkyQ ue r y、TO PCA T等．vi zi eR现已收集了5000多个星表[4。
虚则实之应为王
VO逻辑架构框图
跨平台BS/CS界面操作接口 VO时域/频域/图像数据查询 VO数据模型DM 资源注册发布/安全快捷访问 观测数据处理分析 VO交换数据格式 VO数据访问 WEB服务/其他网络应用层服务API
网格Grid/HTTP/FTP等协议 TCP/UDP数据传输 分布式IP网络互连 数据库 数据库 索引数据库 文件系统 文件系统
天文文献查询服务
信息通讯技术发展应用现状（1）
信息技术目前还是依赖半导体技术，虽还没有根 本性的突破寻找新的实现基础，但继续在一些重 要工程细节方面取得进展，延续“摩尔定律”， 目前，大规模工业量产已经进入45nm工艺，更出 色的成本控制和性能表现 光电子/光纤技术在信号调制、远距离无中继传输 等方面继续刷新记录，借助DWDM（密集波分复 用），在实际应用中可以实现单根光纤80 x 40Gbs的通讯速率，实验室中的记录是160 x 80Gbps@2550km和80 x 100Gbps@520km 我国目前骨干网的速度在2.5/10Gbps，WDM以 及DWDM没有大规模采用
数据访问层工作组（Data Access Layer） 数据模型工作组（Data Model） 网格WEB服务工作组（Grid&Web Service） 查询语言工作组（Query Language） 资源注册工作组（Resource Registry） 标准&文档进展工作组（Standards&Documents Process） 语义工作组（Semantics），负责统一内容描述工作组（UCD） VO事件工作组（VOEvents） VO交换数据格式表工作组（VOTable） 应用工作组（Applications） 天文网格通讯研究组（Astronomical Grid Community） 天文数据诊断保存兴趣组（Data Curation and Preservation） IVOA理论兴趣组（Theory）
中国虚拟天文台在天文学信息化中的角色与作用-China-VO
Chinese Virtual Observatory
China-VO在天文 信息化中的角色和作用
Topics
• 天文信息化内容是否合理？ • China-VO重点研发领域的设置是否合理？ • 您对LAMOST数据发布系统和WDC天文中心有 什么期望？ • CAS VO vs. China VO • 其他话题？
China-VO 2006, Guilin
11/29-12/03
2
天文信息化初步设想
网络基础设施建设
国家级数据中心建设 中国虚拟天文台研发
实施与队伍建设
11/29-12/03
China-VO 2006, Guilin
3
两大任务
国家级天文数据中心建设 整合国内现有数据资源与服务，建设国家级的天文数据中心 中国虚拟天文台技术研究与开发 研究和开发符合国内实际情况和需求的，符合国际虚拟天文台联盟 规范的虚拟天文台技术和服务 数据中心的整合与建设是虚拟天文台研发工作的基础，为研
11/29-12/03
6
China-VO Questionary
China-VO的使命是什么？
Wang FeiLu (WFL): －根据自身研究需要，可以在专业的指导下，快速、准确的使用各种数据库， 获取有效的数据； He Jinhua (HJH): 作为研究人员的我，最希望从您们那里学到如何有效使用已经成熟VO工具开展 研究工作。请告诉我们使用方法和技巧，加速我们的研究工作。 He Boliang (HBL): 我最希望从China-VO小组得到的信息是国内China-VO的最新进展，我们和国外 同行的工作 比较，工作进度甚么的。目前CHina-VO自己开发的VO系统的进展，和国内外数据库、 VO系统接口的信息等。 Jin Wenjin (JWJ): China-VO做了不少工作，为了解其作用，能否统计一下中国天文学家用ChinaVO资料和国际VO进行研究工作和发表文章的目录。从此可了解中国天文学家是否己能用VO进行 科研工作 Li Yuqiang (LYQ): 我认为，China-VO小组教我们如何使用一些国际上的数据库是很有必要的，也 可以编著一些各类数据库的使用指导之类的书籍，这样也能给一些初学者带来方便。 Wang Na (WN): 以上所有。 Huang Yongfeng (HYF): 了解国内外最新的VO进展；学会使用国际上的数据库、软件和各种VO工 具 Song Limin (SLM): 从大的方面说，最希望CVO小组的工作能推进天文研究的进展和提供方便。上 述的问题是这个目标的具体化，都是非常需要解决的。另外，我还希望通过CVO的工作，加强和国 外研究人员的交流和合作。 Qiao Cuilan: VO系统；教你或者协助你使用国际上的数据库、软件和各种VO工具；协助自己开发 数据库访问系统… Huang Maohai: 培训和咨询。希望对研究生进行培训。他们更有时间学。 Wu Jianghua: 最希望得到如何高效率地使用国外数据库的方法。
China-VO在天文 信息化中的角色和作用
Topics
• 天文信息化内容是否合理？ • China-VO重点研发领域的设置是否合理？ • 您对LAMOST数据发布系统和WDC天文中心有 什么期望？ • CAS VO vs. China VO • 其他话题？
China-VO 2006, Guilin
11/29-12/03
2
天文信息化初步设想
网络基础设施建设
国家级数据中心建设 中国虚拟天文台研发
实施与队伍建设
11/29-12/03
China-VO 2006, Guilin
3
两大任务
国家级天文数据中心建设 整合国内现有数据资源与服务，建设国家级的天文数据中心 中国虚拟天文台技术研究与开发 研究和开发符合国内实际情况和需求的，符合国际虚拟天文台联盟 规范的虚拟天文台技术和服务 数据中心的整合与建设是虚拟天文台研发工作的基础，为研
11/29-12/03
6
China-VO Questionary
China-VO的使命是什么？
Wang FeiLu (WFL): －根据自身研究需要，可以在专业的指导下，快速、准确的使用各种数据库， 获取有效的数据； He Jinhua (HJH): 作为研究人员的我，最希望从您们那里学到如何有效使用已经成熟VO工具开展 研究工作。请告诉我们使用方法和技巧，加速我们的研究工作。 He Boliang (HBL): 我最希望从China-VO小组得到的信息是国内China-VO的最新进展，我们和国外 同行的工作 比较，工作进度甚么的。目前CHina-VO自己开发的VO系统的进展，和国内外数据库、 VO系统接口的信息等。 Jin Wenjin (JWJ): China-VO做了不少工作，为了解其作用，能否统计一下中国天文学家用ChinaVO资料和国际VO进行研究工作和发表文章的目录。从此可了解中国天文学家是否己能用VO进行 科研工作 Li Yuqiang (LYQ): 我认为，China-VO小组教我们如何使用一些国际上的数据库是很有必要的，也 可以编著一些各类数据库的使用指导之类的书籍，这样也能给一些初学者带来方便。 Wang Na (WN): 以上所有。 Huang Yongfeng (HYF): 了解国内外最新的VO进展；学会使用国际上的数据库、软件和各种VO工 具 Song Limin (SLM): 从大的方面说，最希望CVO小组的工作能推进天文研究的进展和提供方便。上 述的问题是这个目标的具体化，都是非常需要解决的。另外，我还希望通过CVO的工作，加强和国 外研究人员的交流和合作。 Qiao Cuilan: VO系统；教你或者协助你使用国际上的数据库、软件和各种VO工具；协助自己开发 数据库访问系统… Huang Maohai: 培训和咨询。希望对研究生进行培训。他们更有时间学。 Wu Jianghua: 最希望得到如何高效率地使用国外数据库的方法。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
分类号密级UDC编号华中师范大学硕士学位论文虚拟天文台数据访问服务(VO-DAS)之任务调度研究及VO-DAS的应用田海俊指导教师郑小平教授、赵永恒研究员、崔辰州副研究员华中师范大学物理科学与技术学院申请学位级别硕士学科专业名称理论物理论文提交日期2007年6月论文答辩日期2007年6月培养单位物理科学与技术学院学位授予单位华中师范大学答辩委员会主席Job Scheduling Research in Virtual Observatory Data Access Service(VO-DAS)andVO-DAS ApplicationHai-Jun TianSupervisor:Prof.Xiao-Ping Zheng&Prof.Yong-Heng Zhao&Dr.Chen-Zhou CuiHuaZhong Normal UniversityMay,2007Submitted in total fulfilment of the requirements for the degree of Masterin Theory of Physics摘要天文观测数据资源具有时间跨度大、数据量大、存储管理分散、管理工具驳杂等特点。
如何提供给天文学家一个统一访问这些分布存放的异构数据资源的方案，是虚拟天文台的一个重要研究课题。
计算机与互联网技术的飞速发展，网格技术、XML技术、语义网技术等全新IT技术的涌现，以及在此技术背景下，国际虚拟天文台联盟(IVOA)依据天文自身的特点不断提出并完善的各种规范标准，使得海量、分布式、多波段天文数据的无缝融合和处理成为可能。
对于异地异构数据的统一访问，我们基于开放网格服务架构（OGSA）提出了一种网格的解决方案：使用OGSA-DAI技术实现了对异地异构的天文星表数据、图像数据和光谱数据的统一封装（DataNode）；利用ADQL语言完成对任务的统一描述；基于WSRF框架完善了对数据资源、计算资源以及存储资源的任务调度。
我们设计的虚拟天文台数据访问服务（VO-DAS）实现了对数据资源、计算资源、存储资源的自动发现以及异地异构数据的联合访问并对访问结果进行数据分析的一体化工作模式，这将使天文数据源的多波段交叉证认、海量数据分析及对分析结果的可视化等成为可能。
VO-DAS支持国际虚拟天文台联盟（IVOA）的各项相关标准，使得它具有良好的互操作性，它的对外接口简单实用、可以针对不同需求的天文数据用户发展出多种网格应用产品。
论文以VO-DAS的任务调度及其实现为重点，分别对VO-DAS的设计模式、Session 机制、生命周期、资源销毁、异常处理等模块进行了详细的阐述，并从多个角度分别给出了系统的设计图。
为了验证以OGSA-DAI为基础的天文数据访问的可行性和性能，我们采用两个科学范例对VO-DAS原型进行了实验。
论文最后以VO-DAS对China-VO Ephemeris WS计算平台的扩展为例，介绍了VO-DAS外部接口的扩展方法,以及VO-DAS在星历计算方面的应用，并简要阐述了VO-DAS在其他方面的科学应用。
关键词：虚拟天文台，数据访问，网格技术，OGSA-DAIAbstractThe resources of observed data in astronomy have such characters as large time span,great quantity of data,break-up storage and management,heterogeneous man-agement tool,and so on.An important research subject of the virtual observatory is about how to provide the astronomers with a programme on visiting these resources stored in different organisms.The great development of the computer and the internet technology,the emerge of the totally up-to-date IT technology,such as grid technology,XML technology, semantic network technology,and so on,and on this technology background,ac-cording to the character of astronomy itself,the International Virtual Observatory Alliance(IVOA)continuously put forward and make them perfect various standard document,this make it possible the merge monolithic of the astronomy data which great capacity,break-up and multiple wave band.As for consolidated visit to the resources stored in different organisms,basing on OGSA,we put forward a solution programme for the grid:making use of the OGSA-DAI technology,we can carry out the DataNode of the astronomy data about the surface of the stars,the picture data and the spectrum data in different organisms; taking advantage of ADQL language,we can go through with the description of the whole task;grouding on WSRF structure,we can make it perfect in dispatching tasks of the data resources,caculation resources and storage resources.The VO-DAS that we have designed bring into effect the close-coupled work pattern:auto-discover the data resources,caculation resources and storage resources,visite the resources stored in different organisms and data-analyse the result,this will make it possible the multiple wave band cross-authentication,the data-analysis and the visualisation of the analysis result.VO-DAS support all the related standards of the IVOA,this makes it have excellent operability,its external interface is simple and practical,it can develop various grid application products aimed at different demands of different astronomy data clients.Focusing on diapatching VO-DAS tasks and bringing it into effect,we elaborate on the modules of VO-DAS,such as its design mode,Session organisms,life cycle, resources destroying,exception handling,and so on,and put forward the blue prints of the system indifferent angles.To verify the feasibility and performance of the visitto the astronomy data basing on OGSA-DAI,we adopt two scientific model to test the prototype of VO-DAS.Take for example the expansion of the VO-DAS to the caculation platform of the China-VO Ephemeris WS,we introduce the expansion method of VO-DAS’exterior interface,and VO-DAS’application in the caculation of the star calendar,and we also elaborate on VO-DAS’application in the scientific applications in the otherfields.Keywords:Virtual Observatory,Data Access Service,Grid,OGSA-DAI目录目录iv第一章引言11.1虚拟天文台研究背景[1] (1)1.2国内外研究现状[3] (3)1.3VO-DAS的研究意义 (4)1.4论文组织结构 (4)第二章关键技术和概念综述62.1网格技术 (6)2.1.1开放式网格体系结构(OGSA)[8] (6)2.1.2OGSA的基础访问结构 (6)2.1.3开放式网格服务基础结构（OGSI）[13] (8)2.1.4Web服务资源框架（WSRF）[14] (9)2.2网格技术在国内外现状 (11)2.3网格相关的中间件 (12)2.3.1Globus Toolkit[15] (12)2.3.2OGSA-DAI[16] (13)2.4国际虚拟天文台联盟（IVOA）及其相关规范 (17)2.4.1IVOA天文数据查询语言（ADQL）[17] (17)2.4.2简单图像访问规范(SIA)[18]、简单光谱访问规范(SSA)[19]..192.4.3FITS、VOTable等天文格式规范 (20)第三章基于WSRF的数据访问服务(VO-DAS)223.1VO-DAS的需求分析 (22)3.2VO-DAS的框架[24] (23)3.2.1VO-DAS五种访问接口 (23)3.2.2VO-DAS两大核心模块 (23)3.2.3天文数据查询语言（ADQL） (25)3.2.4数据查询 (26)3.2.5数据分析 (27)3.2.6数据分发 (27)3.2.7服务的信息注册与信息发现 (27)3.2.8数据格式 (27)3.2.9VO-DAS的运行环境 (27)3.2.10VO-DAS的性能 (27)第四章VO-DAS任务调度研究与实现294.1多任务调度的几种可能方案 (29)4.2VO-DAS任务调度方案的设计 (29)4.2.1VO-DAS的Session机制 (29)4.2.2VO-DAS的生命周期控制 (30)4.2.3VO-DAS的资源销毁 (31)4.2.4数据查询设计 (32)4.2.5数据的分析 (35)4.2.6系统的状态监控 (36)4.2.7VO-DAS异常处理 (37)4.2.8VO-DAS安全机制 (37)4.3VO-DAS任务调度的实现和测试 (38)4.3.1结构图（以三个DataNode为例） (38)4.3.2类图 (38)4.3.3序列图 (38)4.3.4测试方案和测试结果 (39)4.4和国外同类虚拟天文台系统的比较 (40)第五章VO-DAS的功能扩展及其应用485.1基于VO-DAS平台可视化日食带的中心食带 (48)5.1.1China-VO Ephemeris WS计算平台[31] (48)5.1.2VO-DAS的功能扩展 (50)5.1.3通过VO-DAS可视化中心食带 (52)5.2VO-DAS其他应用 (53)第六章总结与展望54附录A JDL的xml表述形式55参考文献57发表文章目录60致谢61表格1.1国际各国虚拟天文台项目 (3)4.1VO-DAS的部分异常列表 (38)插图2.1Web Services结构图 (7)2.2一个典型的Web Services调用过程 (8)2.3从WSDL中生成stubs文件 (9)2.4GT4结构图 (13)2.5数据服务资源DSR、数据资源访问门DRA以及数据资源DR（以关系型数据资源为例）三者之间的关系 (15)2.6一次SQL查询，OGSA-DAI各模块间的交互 (15)2.7OGSA-DAI体系结构图 (16)3.1VO-DAS设计图 (24)4.1VO-DAS Session机制 (30)4.2同步查询工作流 (33)4.3异步查询工作流 (33)4.4联合查询工作流 (34)4.5VO-DAS结构图（以三个DataNode为例） (41)4.6VO-DAS类图 (42)4.7VO-DAS的启动 (43)4.8VO-DAS的关闭 (43)4.9VO-DAS的元数据查询 (44)4.10VO-DAS的同步查询 (44)4.11VO-DAS的异步查询 (45)4.12VO-DAS上传数据 (46)4.13VO-DAS的数据分析 (47)5.1China-VO Ephemeris WS功能结构图 (50)5.2Activity生命周期的序列图 (51)5.32008年03月12日之后，第一次中心食食带 (52)5.42006年08月12日之前，最后一次中心食食带 (53)第一章引言1.1虚拟天文台研究背景[1]四百年前伽利略首次把望远镜指向太空，使人类摆脱了仅能用肉眼直接观测太空的历史，为从哥白尼开始的天文学革命提供了大量的科学证据。