曙光XData大数据教战手册
- 格式：doc
- 大小：2.99 MB
- 文档页数：28
下载文档原格式
合集下载
曙光DS600G20磁盘阵列教战手册范本
曙光DS600-G20磁盘阵列教战手册曙光信息产业(北京)有限公司存储产品事业部2015年5月目录1. 教战手册作用 (4)2. 常见问题及解释 (4)2.1. DS600-G20的产品主要定位在哪个市场 (4)2.2. DS600-G20磁盘阵列特性 (4)2.3. DS600-G20支持多种硬盘，在实际销售中怎么选择 (5)2.4. 曙光DS600-G20产品规格有什么优势 (6)1.教战手册作用曙光DS600-G20磁盘阵列教战手册是销售人员在与客户沟通时常见问题的回答要点，是让客户清楚曙光DS600-G20系列产品特性以及曙光的优势，为最终达成销售提供必要的技术解释。
2.常见问题及解释2.1.DS600-G20的产品主要定位在哪个市场DS600-G20 是曙光面向中低端市场推出的SAN/NAS磁盘阵列产品，目前包含NAS 和SAN功能的统一存储成为市场主流方向。
曙光的DS600-G20主要定位在面向中端企业应用的新一代存储产品，支持FC-SAN/ISCSI-SAN/NAS架构,产品采用双冗余控制器，支持高效能的8Gb FC主机接口、GbE主机接口和10 GbE主机接口，满足企业综合业务的存储需求。
DS600-G20适合数据规模在10TB-200TB之间、服务器数量在1-20台之间、对可靠性要求较高的客户！典型应用环境:音频流媒体事务处理型数据库应用中小规模通用存储数据备份信息归档2.2.DS600-G20磁盘阵列特性DS600-G20提供丰富的主机接口：8Gb FC主机接口，1GbE主机接口和10GbE主机接口。
在核心应用和关键业务中,选择FC SAN,保证性能和可靠性；在非关键应用或者边缘系统中,选择IP SAN；还可以提供网络共享的NAS功能。
FC SAN特性优势：•更好的扩展性。
服务器与存储设备不再一对一固定地连接在一起，新的服务器和存储设备可以动态的加入到SAN的设备池中。
•更好的性能。
中科曙光天阔A620r-G服务器用户手册V1.5
iv
天阔 A620r-G 服务器用户手册
·将设备仍包中取出，不要放下，直接安装到服务器中。如果需要放下设备，请将它放回防静电包中。请勿将设备放 在服务器外盖或金属表面上。 ·当设备仌然在防静电包中时，将它与服务器外部未上漆的金属表面接触至少2秒。这样可以释放防静电包和您身体 上的静电。 ·减少移动。移动会导致您身体周围的静电积累。 ·握住设备的边缘或框架，小心操作设备。 ·请勿触摸焊接点.引脚或裸露的电路。 ·请勿将设备放在其他人可以接触和损坏它的地方。 ·在触摸静电敏感元件或装置时，一定要采取适当的接地措施。 ·在寒冷的天气操作设备时应栺外小心。供暖系统会降低室内湿度幵增加静电。
手册版本 V1.5
版权所有©2012 曙先信息产业股仹有限公司
ii
天阔 A620r-G 服务器用户手册
商标和版权
‚SUGON‛及图标是曙先信息产业股仹有限公司的商标或注册商标。 ‚中科曙先‛及图标是曙先信息产业股仹有限公司的商标或注册商标，文中‚曙先信息产业股仹有限公司‛简称‚曙 先公司‛。
‚AMD‛，‚Opteron‛及图标是 Advanced Micro Devices 公司的注册商标。 ‚Microsoft‛.‚Windows‛.‚Windows Server‛及‚Windows Server System‛是微软公司的商标或注册商标。
上面未列明的本手册提及的其他产品.标志和商标名称也可能是其他公司的商标或注册商标， 幵由其各自公司.其他性 质的机极或个人拥有。
在本用户手册中描述的随机软件，是基于最终用户许可协议的条款和条件提供的，只能按照该最终用户许可协议的 觃定使用和复制。
版权所有©2012 曙先信息产业股仹有限公司，所有权利保留。
本手册受到著作权法律法觃保护，未经曙先信息产业股仹有限公司事兇书面授权，仸何人士不得以仸何方式对本手 册的全部或仸何部分迚行复制.抁录.删减或将其编译为机读栺式，以仸何形式在可检索系统中存储.在有线或无线网 络中传输，或以仸何形式翻译为仸何文字。
天阔 A620r-G 服务器用户手册
·将设备仍包中取出，不要放下，直接安装到服务器中。如果需要放下设备，请将它放回防静电包中。请勿将设备放 在服务器外盖或金属表面上。 ·当设备仌然在防静电包中时，将它与服务器外部未上漆的金属表面接触至少2秒。这样可以释放防静电包和您身体 上的静电。 ·减少移动。移动会导致您身体周围的静电积累。 ·握住设备的边缘或框架，小心操作设备。 ·请勿触摸焊接点.引脚或裸露的电路。 ·请勿将设备放在其他人可以接触和损坏它的地方。 ·在触摸静电敏感元件或装置时，一定要采取适当的接地措施。 ·在寒冷的天气操作设备时应栺外小心。供暖系统会降低室内湿度幵增加静电。
手册版本 V1.5
版权所有©2012 曙先信息产业股仹有限公司
ii
天阔 A620r-G 服务器用户手册
商标和版权
‚SUGON‛及图标是曙先信息产业股仹有限公司的商标或注册商标。 ‚中科曙先‛及图标是曙先信息产业股仹有限公司的商标或注册商标，文中‚曙先信息产业股仹有限公司‛简称‚曙 先公司‛。
‚AMD‛，‚Opteron‛及图标是 Advanced Micro Devices 公司的注册商标。 ‚Microsoft‛.‚Windows‛.‚Windows Server‛及‚Windows Server System‛是微软公司的商标或注册商标。
上面未列明的本手册提及的其他产品.标志和商标名称也可能是其他公司的商标或注册商标， 幵由其各自公司.其他性 质的机极或个人拥有。
在本用户手册中描述的随机软件，是基于最终用户许可协议的条款和条件提供的，只能按照该最终用户许可协议的 觃定使用和复制。
版权所有©2012 曙先信息产业股仹有限公司，所有权利保留。
本手册受到著作权法律法觃保护，未经曙先信息产业股仹有限公司事兇书面授权，仸何人士不得以仸何方式对本手 册的全部或仸何部分迚行复制.抁录.删减或将其编译为机读栺式，以仸何形式在可检索系统中存储.在有线或无线网 络中传输，或以仸何形式翻译为仸何文字。
曙光天阔A620r-G用户手册V1.0
曙光天阔A620r-G服务器用户手册曙光信息产业有限公司使用前，请仔细阅读本说明书并妥善保管，以备将来使用本手册适用于A620r-G服务器版权所有©2010曙光信息产业有限公司。
使用本手册时，敬请首先详阅“声明及注意事项”部分。
开始使用本手册则代表您已经阅读并同意“声明及注意事项”部分中所提到的信息。
本手册受版权法保护，本手册的任何部分未经曙光信息产业有限公司授权，不得擅自复制或转载。
本手册中提到的信息，如因产品升级或其他原因而导致变更，恕不另行通知。
“曙光”，“DAWNING”，及图标是曙光信息产业有限公司的注册商标。
“AMD”，“Opteron”及图标是Advanced Micro Devices公司的注册商标。
其他注册商标均由其各自的商标持有人所有。
声明及注意事项感谢您选用曙光服务器！曙光服务器将给您带来强大的应用支持和全新的性能体验。
为了您能够更安全、方便的使用曙光服务器，在使用之前，请详细阅读本节所提示的信息。
曙光服务器在设计和制造过程中均遵循了严格的标准，以保证您所使用的服务器拥有卓越的品质和完美的“SUMA”特性。
但是服务器属于精密电子设备，在使用过程中仍然可能因为各种原因而导致异常，所以请务必明确以下事项：1、请将服务器放置在阴凉、干燥、通风、洁净、无强磁场的环境中使用，这有助于服务器的稳定运行，并将可以延长服务器的使用寿命；2、请使用带接地保护的三芯电源线与插座，并使用220V 交流电，不正确的电源设置可能会导致漏电、烧毁、爆炸甚至人身伤害；3、请不要在服务器正在运行时插拔背板连线或是移动服务器，否则将可能造成服务器当机或是部件损坏；4、请尽量避免频繁重启或开关机，以延长服务器的使用寿命；5、请用户及时备份重要数据，曙光信息产业有限公司不为任何情况导致的数据丢失负责；6、请使用正版操作系统及软件，并进行正确配置。
曙光信息产业有限公司对由于操作系统和软件引起的服务器故障不负有维护责任；7、请不要自行拆开机箱及增减服务器硬件配置，曙光信息产业有限公司不为因此而造成的硬件及数据损坏负责；8、当服务器出现故障时，如果您不能确定故障的原因，请及时与曙光技术支持部门联系以获得帮助；9、如主板CMOS电池失效，请使用与本机配备的电池相同型号的电池进行更换，替换下的电池请妥善回收处理。
【手册】曙光天阔服务器远程控制手册
【关键字】手册远程管理操作指南6.1引言本文档介绍曙光天阔服务器的IPMI远程管理和远程KVM（KVM over IP）、虚拟媒体（Virtual media）功能的使用方法。
IPMI是一种用于硬件级别的标准。
IPMI 定义管理员如何监测系统硬件和传感器、控制系统组件和检索重要系统事件的日志以进行远程管理和恢复。
IPMI 监测硬件的状况，例如温度、风扇、电压和硬件错误（存储、网络等）和机箱防盗等。
由于IPMI 独立于操作系统之外，因此即使操作系统已经暂停或服务器已经关闭，管理员仍然可以监测、管理、诊断和恢复系统。
IPMI 还包括警示通知和恢复功能，这使得管理员能够监测硬件故障并在故障发生前监测作出反应。
IPMI 硬件监测功能还可提供额外的安全级别。
通过配置IPMI，检测服务器是否被打开，从而检查机箱侵入状况。
另外，将多层权限和密码以及身份验证和在线加密配合使用，能够让IT 管理员安全地许可或拒绝对特定IPMI 功能的访问。
KVM over IP技术是传统KVM切换技术在IP网络上的延伸。
通过这项技术，用户可以从本地计算机登录到远程的被管理端，将被管理端的视频输出重定向到本地计算机的显示器，并使用本地计算机的键盘鼠标对远程系统进行操作，从而消除了距离限制，降低设备维护和管理成本。
虚拟媒体功能让用户能够把本地计算机上的光驱或其他存储媒体连接至远程服务器系统，就如同它们直接连接在远程服务器的USB 端口一般。
6.2启动远程管理界面6.2.1准备工作曙光天阔I620r-G服务器提供了基于Web的管理界面，系统管理员可以使用Microsoft Internet Explorer或者其他Web浏览器对服务器进行远程监控。
这款服务器为管理功能提供了一个专用网口，位置如下图USB接口上方的网口（数字5所示的接口）在系统BIOS“Advanced-IPMI Configuration-Set LAN Configuration”下，可以对管理专用网口进行网络参数的设置。
QBD-CB-UMD-201806050023 曙光天阔I840-G30用户手册V1.2(2)
商标和版权
“SUGON”及图标是曙光信息产业股份有限公司的商标或注册商标。 “中科曙光”及图标是曙光信息产业股份有限公司的商标或注册商标，文中“曙光信息产业股份有限公司”简称“曙 光公司”。
“Intel”、“Xeon”图标是 Intel 公司的注册商标。 “Microsoft”、“Windows”、“Windows Server”及“Windows Server System”是微软公司的商标或注册商标。
上面未列明的本手册提及的其他产品、标志和商标名称也可能是其他公司的商标或注册商标，并由其各自公司、其 他性质的机构或个人拥有。
在本用户手册中描述的随机软件，是基于最终用户许可协议的条款和条件提供的，只能按照该最终用户许可协议的 规定使用和复制。
版权所有©2013 曙光信息产业股份有限公司，所有权利保留。
带子。 请使用导电的现场维修工具。 配合使用耗散静电的折叠工具垫和便携式现场维修工具包。
危险警告声明
【警告】
电源、电话和通信电缆中的电流具有危险性。为避免电击危险： 请勿在雷电期间连接或断开本产品的任何电缆，也不要安装、维护或重新配置本产品。 将所有电源线连接至正确接线且妥善接地的电源插座。 将所有要连接到本产品的设备连接到正确接线的插座。 尽可能仅使用单手连接信号电缆或断开信号电缆的连接。 切勿在有火灾、水灾或房屋倒塌迹象时开启任何设备。 除非在安装和配置过程中另有说明，否则请在打开设备外盖之前断开已连接的电源线、远程通信系统、网络和调
天阔 I840-G30
用户手册
DAWNING INFORMATION INDUSTRY CO.,LTD.
声明
本手册的用途在于帮助您正确地使用曙光公司服务器产品(以下称“本产品”)，在安装和第一次使用本产品前，请 您务必先仔细阅读随机配送的所有资料，特别是本手册中所提及的注意事项。这会有助于您更好和安全地使用本产 品。请妥善保管本手册，以便日后参阅。
“SUGON”及图标是曙光信息产业股份有限公司的商标或注册商标。 “中科曙光”及图标是曙光信息产业股份有限公司的商标或注册商标，文中“曙光信息产业股份有限公司”简称“曙 光公司”。
“Intel”、“Xeon”图标是 Intel 公司的注册商标。 “Microsoft”、“Windows”、“Windows Server”及“Windows Server System”是微软公司的商标或注册商标。
上面未列明的本手册提及的其他产品、标志和商标名称也可能是其他公司的商标或注册商标，并由其各自公司、其 他性质的机构或个人拥有。
在本用户手册中描述的随机软件，是基于最终用户许可协议的条款和条件提供的，只能按照该最终用户许可协议的 规定使用和复制。
版权所有©2013 曙光信息产业股份有限公司，所有权利保留。
带子。 请使用导电的现场维修工具。 配合使用耗散静电的折叠工具垫和便携式现场维修工具包。
危险警告声明
【警告】
电源、电话和通信电缆中的电流具有危险性。为避免电击危险： 请勿在雷电期间连接或断开本产品的任何电缆，也不要安装、维护或重新配置本产品。 将所有电源线连接至正确接线且妥善接地的电源插座。 将所有要连接到本产品的设备连接到正确接线的插座。 尽可能仅使用单手连接信号电缆或断开信号电缆的连接。 切勿在有火灾、水灾或房屋倒塌迹象时开启任何设备。 除非在安装和配置过程中另有说明，否则请在打开设备外盖之前断开已连接的电源线、远程通信系统、网络和调
天阔 I840-G30
用户手册
DAWNING INFORMATION INDUSTRY CO.,LTD.
声明
本手册的用途在于帮助您正确地使用曙光公司服务器产品(以下称“本产品”)，在安装和第一次使用本产品前，请 您务必先仔细阅读随机配送的所有资料，特别是本手册中所提及的注意事项。这会有助于您更好和安全地使用本产 品。请妥善保管本手册，以便日后参阅。
大数据分析工具与算法技术手册
大数据分析工具与算法技术手册随着信息化时代的到来和科技创新的发展，大数据分析工具和算法技术越来越成为了当今社会中的热门话题。
大数据，是指数据量大到传统数据处理工具无法应用的情形。
在这种情况下，如何快速地处理并分析数据成为了一项迫切的需求。
本手册将从大数据分析的基础入手，逐渐深入介绍工具和算法的使用技巧，希望能给大家提供一些有用的参考。
一、大数据分析基础在开始大数据分析之前，首先需要了解以下几个基础概念：1. 什么是大数据？大数据通常被定义为高度结构化、半结构化和非结构化的数据集合。
这些数据集通常很大，处理它们需要新的处理工具和技术。
2. 大数据分析的目的大数据分析的目的是从各类数据中发现有用的信息来支持商业决策和其他类型的决策。
这可以通过各种技术实现，包括人工智能、机器学习、自然语言处理等。
3. 大数据分析的应用领域大数据分析的应用范围非常广泛，包括金融、医疗保健、零售、广告和媒体等。
二、大数据分析工具下面列举了几种常用的大数据分析工具：1. HadoopHadoop是一种开源软件框架，用于存储和处理大规模数据集。
它的核心是Hadoop分布式文件系统（HDFS）和MapReduce编程模型。
2. SparkSpark是一种用于大规模数据处理的快速、通用的引擎。
它支持Scala、Python和Java编程语言，并提供了用于SQL、流处理和机器学习的API。
3. HiveHive是一个基于Hadoop的数据仓库工具，它可以将结构化数据映射到Hadoop上运行的文件系统上。
4. PigPig是一个基于Hadoop的平台，用于分析大型数据集。
它提供了一种类SQL的语言来处理和转换大规模数据集。
三、大数据分析算法技术以下是几种常见的大数据分析算法技术：1. 聚类聚类是一种数据分析方法，用于将相似的数据点分组在一起。
聚类可以用于市场分析、群体分析等。
分类是一种将数据点分配到不同类别中的方法。
分类可以用于金融风险预测、商品推荐等。
曙光DS800-G25磁盘阵列用户手册V1.1
声明
本手册的用途在于帮助您正确地使用曙光公司服务器产品(以下称“本产品”)，在安装和第一次使用本产品前，请您务必先仔细阅读随机配送的所有资料，特别是本手册中所提及的注意事项。这会有助于您更好和安全地使用本产品。请妥善保管本手册，以便日后参阅。
本手册的描述并不代表对本产品规格和软硬件配置的任何说明。有关本产品的实际规格和配置，请查阅相关协议、装箱单、产品规格配置描述文件，或向产品的销售商咨询。
商标和版权
“SUGON”及图标是曙光信息产业股份有限公司的商标或注册商标。
“曙光”及图标是曙光信息产业股份有限公司的商标或注册商标，文中“曙光信息产业股份有限公司”简称“曙光公司”。
“Intel”、“Xeon”图标是Intel公司的注册商标。
“Microsoft”、“Windows”、“Windows Server”及“Windows Server System”是微软公司的商标或注册商标。
上面未列明的本手册提及的其他产品、标志和商标名称也可能是其他公司的商标或注册商标，并由其各自公司、其他性质的机构或个人拥有。
在本用户手册中描述的随机软件，是基于最终用户许可协议的条款和条件提供的，只能按照该最终用户许可协议的规定使用和复制。
版权所有©2013曙光信息产业股份有限公司，所有权利保留。
本手册受到著作权法律法规保护，未经曙光信息产业股份有限公司事先书面授权，任何人士不得以任何方式对本手册的全部或任何部分进行复制、抄录、删减或将其编译为机读格式，以任何形式在可检索系统中存储，在有线或无线网络中传输，或以任何形式翻译为任何文字。
对于您在本产品之外使用本产品随机提供的软件，或在本产品上使用非随机软件或经曙光公司认证推荐使用的专用软件之外的其他软件，曙光公司对其可靠性不做任何保证。
本手册的用途在于帮助您正确地使用曙光公司服务器产品(以下称“本产品”)，在安装和第一次使用本产品前，请您务必先仔细阅读随机配送的所有资料，特别是本手册中所提及的注意事项。这会有助于您更好和安全地使用本产品。请妥善保管本手册，以便日后参阅。
本手册的描述并不代表对本产品规格和软硬件配置的任何说明。有关本产品的实际规格和配置，请查阅相关协议、装箱单、产品规格配置描述文件，或向产品的销售商咨询。
商标和版权
“SUGON”及图标是曙光信息产业股份有限公司的商标或注册商标。
“曙光”及图标是曙光信息产业股份有限公司的商标或注册商标，文中“曙光信息产业股份有限公司”简称“曙光公司”。
“Intel”、“Xeon”图标是Intel公司的注册商标。
“Microsoft”、“Windows”、“Windows Server”及“Windows Server System”是微软公司的商标或注册商标。
上面未列明的本手册提及的其他产品、标志和商标名称也可能是其他公司的商标或注册商标，并由其各自公司、其他性质的机构或个人拥有。
在本用户手册中描述的随机软件，是基于最终用户许可协议的条款和条件提供的，只能按照该最终用户许可协议的规定使用和复制。
版权所有©2013曙光信息产业股份有限公司，所有权利保留。
本手册受到著作权法律法规保护，未经曙光信息产业股份有限公司事先书面授权，任何人士不得以任何方式对本手册的全部或任何部分进行复制、抄录、删减或将其编译为机读格式，以任何形式在可检索系统中存储，在有线或无线网络中传输，或以任何形式翻译为任何文字。
对于您在本产品之外使用本产品随机提供的软件，或在本产品上使用非随机软件或经曙光公司认证推荐使用的专用软件之外的其他软件，曙光公司对其可靠性不做任何保证。
曙光 6000 超级计算机使用手册 - 清华大学深圳研究生院
曙光6000超级计算机使用手册系统运行部2012年12月12日目录一、基本环境二、系统软件环境2.1 操作系统 (5)2.2 作业调度系统 (5)2.3编译器和并行实现 (5)2.4 数学库 (6)三、使用方法3.1 登录和传输文件 (8)3.2 编译 (12)3.3 作业提交 (13)3.4 作业管理 (23)附件A.常用的作业提交模板1.普通串行计算 (25)2.普通MPI并行作业 (25)3.多个计算步骤的计算脚本 (25)4.共享内存并行作业 (26)5. 4. OpenMP+MPI 混合并行作业 (26)附录B：商用软件使用方法1.Fluent软件 (28)2.ANSYS软件 (30)3.CFX软件 (33)4.ABAQUS软件 (35)5.MARC软件 (37)6.NASTRAN软件 (39)7.LSDYNA软件 (41)8.DYTRAN软件 (43)9.ADF软件 (45)10.HFSS软件 (47)国家超级计算深圳中心采用由中科院和曙光公司联合研制的曙光6000超级计算系统，该系统整体计算能力实测峰值为1.271千万亿次浮点运算（1.271PFLOPS）。
于2011年11月16日投入运行。
本文主要介绍曙光6000超级计算系统的使用方法和环境。
一、基本环境为了方便管理和使用，曙光6000超级计算系统高性能计算区分成5个逻辑分区，分别为科学计算分区（GK）、工程计算分区（GG）、生命科学计算（GS）、胖节点分区（Fn）以及龙芯计算分区（Lx）。
其中GK、GG、GS分区的每个计算节点由2颗Intel5650六核心处理器组成、主频2.66GHz,配置24GB DDR3内存以及1块Nvidia C2050 GPGPU卡，一块本地149G的 SAS硬盘，一块QDR IB子卡。
胖节点分区（Fn）共配置128台4路A840 SMP计算节点，每个计算节点配置4颗AMD 6136 八核心处理，主频2.4GHz，内存128GB。
大数据分析与可视化技术手册
大数据分析与可视化技术手册一、简介在当今信息化社会中，大数据分析已经成为了企业和组织管理决策的重要工具。
大数据分析技术的发展和应用，不仅可以帮助企业挖掘潜藏的商机，更可以提高决策的准确性和效率。
与此同时，可视化技术的应用也成为了大数据分析的重要方向之一。
本手册旨在介绍大数据分析与可视化技术的基本原理、方法和工具，并且提供实操案例，帮助读者更好地理解和应用这些技术。
二、大数据分析基础1. 大数据概述- 定义和特点- 大数据应用场景2. 大数据分析方法- 数据收集与清洗- 数据存储与管理- 数据处理与建模- 数据分析与挖掘三、大数据分析工具1. 常用数据分析工具介绍- Hadoop- Spark- R语言- Python2. 数据可视化工具- Tableau- Power BI- D3.js- Google Charts四、可视化技术入门1. 可视化基础- 信息可视化概述- 可视化设计原则2. 常用可视化图表介绍- 饼图、柱状图、折线图- 散点图、热力图、地图五、大数据分析与可视化的结合应用1. 大数据分析与可视化案例分析- 电商行业用户行为分析与可视化- 金融行业风险管理与可视化2. 大数据分析与可视化的价值与挑战- 价值：决策支持、业务优化等- 挑战：数据质量、隐私保护等六、大数据分析与可视化的未来发展趋势1. 人工智能与大数据分析的结合2. 可视化技术的创新与应用七、总结通过本手册的学习，读者可以掌握大数据分析与可视化技术的基本原理和方法，并了解到相关工具的使用。
大数据分析和可视化技术的结合将成为未来发展的重要方向，希望读者能够通过这些技术，提高自己的决策能力和创新能力。
祝愿读者在大数据分析与可视化领域取得更加广阔的成就。
曙光Xdata大数据平台介绍
并发读写 并发读写 并发读写 索引控制器 索引控制器 索引控制器 索引控制器
数据控制器
数据控制器
……
数据控制器
管 理 控 制 器
管 理 控 制 器
数据迁移
数据迁移 管理网
数据控制器
数据控制器
……
数据控制器 归档/回迁
ParaStor产品特征
纠删码
高性能
21
节点 分区
分级 存储
易扩展
磁盘 高可靠
配额 管理
报表工具
数据挖掘工具
• •
数据集市
数据集市
基于大数据的系统架构
数据源 数据接入 清洗
9
缓存重用 存储计算 数据服务
数据消费
Hadoop 内部数 据
采集代 理
基于流式 计算的实 时清洗 数据 缓存 集群 Web Servic es
DashBoa rd 实时监控
外部数 据 后端日 志
NoSQL
数据统计 数据分析
30个节点，4+4：2 A区16个节点，B区14个节点 冗余度：2个节点（b=2） A区 B区 01 11 02 12 03 13 04 14 05 15 06 16 07 17 08 18 09 19 10 20
21
22
23
24
25
26
27
28
29
30
系统亮点 磁盘分组
M最大为4，磁盘数目较大时，也只能允许故障4个磁盘？
互联网 资料
…
Spark
其他应用
数据质量监控
目录
10
1 2 3
大数据应用场景 大数据系统架构 算法及适用场景 大数据解决方案 XData系列产品 成功案例分享
数据控制器
数据控制器
……
数据控制器
管 理 控 制 器
管 理 控 制 器
数据迁移
数据迁移 管理网
数据控制器
数据控制器
……
数据控制器 归档/回迁
ParaStor产品特征
纠删码
高性能
21
节点 分区
分级 存储
易扩展
磁盘 高可靠
配额 管理
报表工具
数据挖掘工具
• •
数据集市
数据集市
基于大数据的系统架构
数据源 数据接入 清洗
9
缓存重用 存储计算 数据服务
数据消费
Hadoop 内部数 据
采集代 理
基于流式 计算的实 时清洗 数据 缓存 集群 Web Servic es
DashBoa rd 实时监控
外部数 据 后端日 志
NoSQL
数据统计 数据分析
30个节点，4+4：2 A区16个节点，B区14个节点 冗余度：2个节点（b=2） A区 B区 01 11 02 12 03 13 04 14 05 15 06 16 07 17 08 18 09 19 10 20
21
22
23
24
25
26
27
28
29
30
系统亮点 磁盘分组
M最大为4，磁盘数目较大时，也只能允许故障4个磁盘？
互联网 资料
…
Spark
其他应用
数据质量监控
目录
10
1 2 3
大数据应用场景 大数据系统架构 算法及适用场景 大数据解决方案 XData系列产品 成功案例分享
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
曙光XData大数据教战手册曙光信息产业(北京)有限公司产品中心1.教战手册作用曙光XData大数据教战手册是销售人员在与客户沟通时常见问题的回答要点，是让客户清楚曙光在备份领域能做的事情以及曙光的优势，最终为达成销售的目的提供必要的技术解释。
2.背景介绍2.1 什么是大数据“大数据”并不是一项技术，而是由于不断增长的数据量和数据种类而逐渐衍生出来的一种现象。
因此，大数据在业内并没有一个统一的定义。
不同厂商、不同用户，站在不同的角度，对大数据的理解不一样。
目前说大数据的定义，主要有下面两种：第一种是《Teradata Manager》上给出的一个定义，它指出大数据是指超出了常用硬件环境和软件工具在可接受的时间范围内为其用户收集、管理和处理数据的能力。
另一种是麦肯锡给出的定义，它说大数据是指大小超出了典型数据库软件工具收集、存储、管理和分析能力的数据集。
2.2 大数据的特点“大数据”这个词，光从字面来看，可能会让人觉得只是容量非常大的数据集合而已。
但是，容量只不过是大数据特征的一个方面，如果只拘泥于数据量的话，就无法深入理解当前围绕大数据所进行的讨论。
因为“用现有的一般技术难以理解”这样的状况，并不仅仅是由于数据量增大这一个因素所造成的。
大数据的特征，可以用四个V开头的关键词来描述：1)数据体积大——V olume截止目前，人类生产的所有印刷材料的数据量是200PB，而历史上全人类说过的所有的话的数据量大约是5EB。
当前，典型个人计算机硬盘的容量为TB量级，而一些大企业的数据已经接近EB级。
2)数据类型多——Variety数据的多样性可以把数据分为结构化数据和非结构化数据。
相对于以往便于存储的以文本为主的结构化数据，非结构化数据越来越多，包括网络日志、音频、视频、图片、地理位置信息等。
这些多类型的数据对数据的处理能力提出了更高要求。
3)价值密度低——Value价值密度的高低与数据总量的大小成反比。
以视频为例，一部1小时的视频，在连续不间断的监控中，有用数据可能仅有一两秒。
如何通过强大的机器算法更迅速地完成数据的价值“提纯”成为目前大数据背景下亟待解决的难题。
4)处理速度快——Velocity这是大数据区分于传统数据挖掘的最显著的特征。
根据IDC的“数字宇宙”的报告，预计到2020年，全球数据使用量将达到35.2ZB。
在如此海量的数据面前，处理数据的效率就是企业的生命。
3.产品介绍3.1 产品概述Xdata大数据一体机是一款通用的海量数据处理平台，提供对结构化及非结构化海量数据的存储组织和查询处理功能，满足用户对海量数据的过滤性查询、统计分析类查询和关联分析的处理需求。
Xdata大数据一体机可广泛的应用在电信数据统计分析，互联网/移动互联网的日志和用户行为分析，物联网/传感器网络的数据监控和追踪分析，以及金融交易数据的离线统计和挖掘等众多领域。
3.2 功能特性Xdata大数据处理机将数据存储单元和处理单元分离，通过构架高效的服务中间件，将底层采用无共享结构的数据存储节点，聚合成一个单一的数据处理系统映像，达到较高的数据读写并发度、计算并发度，以及良好的系统扩展性，可靠性和可维护性。
系统结构如图：图表3-1 XData系统结构Xdata向用户提供统一的类JDBC的客户端编程接口，向下管理分布在不同存储模块上的不同类型的数据，并提供简易的用户管理界面。
Xdata系统的核心计算包括自动的服务注册和负载均衡，可扩展的数据划分和分布策略，高效的批量数据加载，通用的并行查询分析和处理引擎，结构化和非结构化数据的统一访问接口，不同类型数据之间的关联查询和检索，以及全方位的熊故障和恢复处理等多项技术。
Xdata的产品功能特性如下：1)分级存储Xdata支持分级存储，以降低系统的总体持有成本。
即按照数据量和数据的访问频率，分为在线、离线和备份三个存储级别，并支持数据在各级之间根据策略进行迁移。
2)复杂数据类型关联分析Xdata支持大表关联和大表嵌套类等复杂的查询语句的处理。
Xdata系统通过将复杂查询解析成在多个数据节点上的并行任务流，来提高复杂查询的处理性能。
Xdata支持用户自定义的并行查询任务流，可以支持任意复杂的结构化/非结构化数据处理语义，以满足更广泛的应用需求。
3)SN-MPP并行处理架构Xdata采用无共享的集群架构，提供高速的数据写入能力。
写入过程中，采用并行写入的方式，按照一定的数据划分策略，将数据写入到后端的数据节点。
Xdata将查询语句分解成为在多个数据模块并行执行的查询任务流，所有的查询处理都在数据节点上并行的执行，充分利用无共享结构的计算并行度。
Xdata提供任务断点执行功能，发生意外情况时，失效任务自动恢复执行。
4)SQL/MapReduce一体化执行框架XData提供类SQL访问接口：有SQL 使用经验的用户无需额外学习即可很方便的使；XData提供SQL/MapReduce混合执行框架，提供跨平台的兼容性。
3.3 产品特点中科曙光XData大数据一体机的主要硬件组成部分——数据模块DataModule，具有如下特点：1)高性能➢采用Intel最新一代的E5-2600系列处理器，处理器内部集成PCI-E控制器；处理器之间采用更多、更快的QPI总线，大幅提升CPU之间协作效率；➢16根DIMM插槽，支持DDR3内存，频率支持1600MHz(由使用的处理器型号决定)，最高可支持512GB内存；➢PCI-E总线提升到3.0标准，极大的提高了扩展性能。
2)高可靠性➢具有高级内存容错功能；➢支持多网卡冗余，系统正常时分摊网络流量，当其中一块网卡出现问题时，自动将其负担的工作切换到其他网卡；➢机箱温度检测功能，随时检测机箱内部的温度以及系统风扇的情况，发现问题及时报警；➢标配2+1冗余电源，防止瞬间掉电，提供用户更稳定可靠的系统电源。
3)高扩展性➢16条DIMM插槽，最大可扩展至512G内存；➢最大支持36块硬盘，可用作存储服务器；➢支持6条PCI-E插槽，提供高扩展能力，支持更多扩展卡，为更多应用提供支持。
4)高可管理性➢可选智能硬件监控系统。
提供系统内部温度，风扇转速，直流电源电压等工作状态信息显示。
自动记录主机因故障停止工作的时间和日志信息，帮助分析故障原因；➢支持智能动态调节风扇转速功能，风扇转速随着系统温度动态调整，有效降低了系统噪音和功耗。
5)易维护性➢集成iKVM功能可以对数据控制器进行远程操作、维护，具有多项故障指示功能，有效降低用户宕机风险。
3.4 产品规格XData大数据一体机包含两类组件：计算模块、数据模块和客户端。
计算模块：用于数据的并行加载和查询处理，对客户端提供统一的数据处理接口。
数据模块：用于提供结构化/非结构化数据一体化存储空间，内嵌高性能数据存取引擎，并行处理所有计算模块的数据访问请求。
客户端：用于和用户应用对接，提供XJDBC/MapReduce统一访问接口和各服务专用访问接口。
表格3-1 规格列表3.5 XData大数据一体机管理系统Xdata大数据一体机管理系统主要为用户提供对Xdata系统执行各种操作的图形化交互界面。
提供的功能包括：安装维护、系统监控、系统管理、告警管理、报表管理和资源管理等服务。
其界面操作如下图所示：图表3-2 XData管理系统登录界面图表3-3 XData系统管理服务界面图表3-4 XData系统安装界面图表3-5 XData系统资源监控界面4.目标行业及典型应用在数据量爆发式增长的时代，数据中蕴含的价值日益受到企业和社会的重视。
曙光公司以客户需求为导向，依托十几年的专业技术积累和丰富的项目实践经验，提出以“平台一体，智汇应用”为核心的曙光大数据战略，为各行各业客户提供业界顶尖水准的大数据整体解决方案和服务，助力客户业务持续创新和增长。
曙光大数据提供丰富的平台接口，支持与各行业丰富的第三方应用集成，汇集了智慧城市、金融、电信、交通、医疗、教育、军工等各行各业丰富的大数据应用软件，提供高效和个性化的数据分析服务，挖掘数据价值、释放数据潜能，为客户带来创新的技术模式、商业格局和投资机会，从而获得在信息时代的竞争优势。
4.1 客户的数据类型客户应用系统的数据通常被分为一下两个大类：1)结构化数据即存储在关系型数据库里面的行数据，可以通过二维表结构来逻辑表达实现的数据。
2)非结构化数据相对于结构化数据而言，不方便用数据库二维逻辑表来实现的数据即称为非结构化数据，包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像、音频/视频、智能终端/智能仪表/传感器产生的数据等等。
Xdata大数据一体机致力于对分散的结构化和非结构化数据进行整合存储，实现数据的交叉复用及数据的深层次挖掘等应用。
4.2 典型的行业应用曙光在大数据布局上将采用三步走战略，为企业打着简单易用、注重实效的大数据平台。
其中，数据落地式三步走战略中的第一步，其关键点在于数据采集存储，帮助用户掌握大数据分析和处理的方法；第二步是分析简化，让数据化简为繁，结合行业应用形成解决方案。
在这一步，曙光同时将为用户提供应用迁移、应用优化以平台开发等服务支持；第三步是价值新生，通过深化应用，联手用户共同探寻、挖掘数据价值。
4.2.1 金融行业在金融行业，数据存储要求非常高，在我国每天都会产生大量的交易数据，包括银行、证券、保险等各个金融领域都会产生大量的数据。
这些数据都会存放在交易系统当中，如果能够把这些历史数据进行分析、挖掘将会产生意向不到的效益。
传统金融行业业务系统规范化做的相对来说比较好，大量的数据已经被严格的规范化并存储在关系型数据库当中。
目前，金融行业对这些具有潜在价值数据的分析相对来说比较少。
基于金融数据的特点，以下这些业务可以被移植到大数据平台中来：1)监管和改革监管和改革可以为整个国家层面金融统计方面提供依据。
除了内部审核之外，还有很多信用风险分析，包括压力分析等。
这些都需要金融机构实时的、长期的、频繁的为整个金融数据进行测试和检测。
这些对数据的分析对计算能力和计算深度及计算广度的要求都非常的高。
利用传统的业务处理手段在处理深度和数据分析的速度上都具有一定的局限性。
而大数据的优势是能够针对最底层的交易数据进行全面的模式识别、分析，能够大大提高整个风险分析的能力和效率。
2)盈利方面通过对用户进行分类以及对用户信用能力进行分析，可以改善对用户提供的服务，也能极大地提升金融机构的盈利水平。
3)运行效率方面对于金融机构来说基本上都是跨全国的大型机构或公司，具有很多的分支机构，数据是分散存储的。
而现在可以利用大数据手段，把原来分布在各个系统当中的运营数据进行汇总、进行交叉复用分析进而提升整个运营的效益。
金融机构的很多业务系统都已经基本成熟，包括BI、信息分析等。