当前位置：文档之家 › GBase 8a MPP企业级大数据平台-性能测试报告

GBase 8a MPP企业级大数据平台-性能测试报告

  • 格式：pdf
  • 大小：1.58 MB
  • 文档页数：24

GBase 8a MPP企业级大数据平台性能测试报告目录第1章测试定义 (1)1.1测试背景 (1)1.2测试目的 (1)1.3测试时间 (1)第2章测试环境 (2)2.1硬件环境 (2)2.2软件环境 (2)2.3测试数据 (2)2.3.1 测试数据加载 (3)第3章测试内容 (6)3.1测试项目 (6)3.2测试内容 (6)3.2.1 13个标准sql的串行执行测试 (6)3.2.2 小查询并发性能测试 (7)3.2.3 大查询并发性能测试 (8)3.2.4 并发插入性能测试 (9)3.2.5 并发加载性能测试 (10)第4章性能测试结果 (10)4.1测试结果 (10)4.1.1 十三条sql (10)4.1.2 并发性能 (11)4.1.3 加载性能 (12)4.2测试资源使用情况 (14)4.2.1 十三条sql执行过程 (14)4.2.2 Sql并发压力测试 (16)4.2.3 三加载机并发加载 (18)4.2.4 单加载机多加载进程测试 (19)第5章附件 (21)5.1标准查询13个SQL (21)5.2经改造的SQL12 (21)5.3 SSB测试包 (21)4.2测试脚本 (22)第1章测试定义1.1测试背景本次测试是建立在36节点GBase8a MPP集群数据库环境上，测试数据均为在其他负载的情况看下测得，能够比较客观的反应出GBase8a MPP集群数据库在该环境下的性能表现。

1.2测试目的本次测试旨在评估GBase8a MPP集群数据库在串行、小查询并行、大查询并行、加载模式并行的场景下其的性能表现，以及评估在类场景下系统资源的使用情况。

1.3测试时间第2章测试环境2.1硬件环境2.2软件环境2.3测试数据测试对象表：lineorder customer part dwdate supplier标准查询：13个标准查询数据规模1000 scales数据加载方式通过gbase加载工具dispcli和dispserver，加载数据文件，直接入库的方式。

数据生成规则根据5个表的数据类型及业务类型，随机生成数据。

数据生成程序及工具通过集群客户端执行建表语句在集群内生成ssbm库：gccli –pgbase –ugbase –vvv –f < create_table.sql create_table.sql文件路径：SSB/ create_table.sql数据生成方法SSB/data路径下执行：./dbgen -s 1000 -T a生成10 scales的测试数据数据量(1)lineorder 表：数据文件605G 数据条数5999989813(2)customer 表：数据文件2.7GB 数据条数3000000(3)part表：数据文件164GB 数据条数2000000(4)dwdate表：数据文件224K 数据条数2556(5)supplier表：818MB 数据条数10000000 2.3.1测试数据加载表一：lineorder表二：Supplier表三：Customer表四：Dwdate表五：Part入库后数据量：第3章测试内容3.1 测试项目1.SSMB库13个标准sql的串行执行测试。

通过此项目测试旨在评估每个标准查询sql在该环境下的性能表现。

以便甄选出能够代表并发测试的sql。

2.小查询并发性能测试通过此项目测试旨在评估查询时间短，且返回数据量小个查询在GBase8a_MPP集群数据环境的并发性能表现。

3.大查询并发性能测试通过此项目测试旨在评估查询时间较长，且返回数据量较大的查询在GBase8a_MPP 集群数据环境的并发性能表现。

4.并发插入性能测试通过此项目测试旨在评估批量插入类sql，在GBase8a_MPP集群数据环境的并发性能表现。

5.并发加载性能测试通过此项目测试旨在评估批量插入类sql，在GBase8a_MPP集群数据环境的并发性能表现。

3.2 测试内容SSBM是一个以星型模式为基准的标准测试模型。

它被设计用来评估数据库系统星型模式查询的性能。

它的模型是基于TPC-H基准的，本模型通常被用来测试一些主要的商业及数据库产品在Linux操作系统上的星型模式性能表现。

3.2.1 13个标准sql的串行执行测试3.2.2 小查询并发性能测试3.2.3 大查询并发性能测试第4章性能测试结果4.1 测试结果4.1.1 十三条sqlSQL9 6.72 5.42 4.12SQL10 1.12 1.05 0.79SQL11 35.11 32.72 27.45SQL12 14.21 15.02 11.37SQL13 3.39 3.53 2.72Sum 142.48 134.27 93.064.1.2 并发性能200小查询小查询性能测试，大部分sql的执行时间在8秒到15秒之间浮动。

100大查询大查询并发性能测试，大部分sql的执行时间在200秒到250秒浮动。

50并发插入50并发插入测试，大部分sql的执行时间在120秒到150秒之间浮动。

4.1.3 加载性能三台加载机同时进行数据加载，1小时的加载性能达到2TB，单台服务器启动两个加载三加载机单加载机两进程节点4 节点10 节点16 端口6666 端口7777数据量（G）59G 59G 59G 59G 59G单片性能（M） 5.9M 5.6M 5.4M 5M 5M加载时间（s） 295 306 309 338 336平均性能(M) 5.68M 5.48M 5.43M 4.96M 4.99M单个加载机(h) 708G 693G 687G 627G 631G总体性能(h) 2.09T 1.25T1、三加载机测试过程使用三台加载机分别往集群的三个表进行加载，增加了两个参数--segment=2M和send_block_size=4M，测试结果单片数据加载从2M提升到5M。

控制文件：[root@pc-zjqbmpp13 load_data]# cat lineorder3.ctl[lineorder]disp_server=10.78.154.16:6666format=3db_name=ssbmtable_name=lineorder3delimiter='|'socket=/tmp/gbase_8a_5050.sockextra_loader_args=--parallel=4 --segment=2Mfile_list=/opt/SSB/data/data_times_100/lineorder.tblhash_parallel=4send_block_size=4M2、单加载机多进程同一台加载机，使用两个加载进程分别往两个服务器上进行加载。

[root@pc-zjqbmpp07 load_data]# cat *.ctl[lineorder]disp_server=10.78.154.10:7777format=3db_name=ssbmtable_name=lineorder1delimiter='|'socket=/tmp/gbase_8a_5050.sockextra_loader_args=--parallel=4 --segment=2Mfile_list=/opt/data_times_100/lineorder.tblhash_parallel=4send_block_size=4M[lineorder]disp_server=10.78.154.10:6666format=3db_name=ssbmtable_name=lineorder2delimiter='|'socket=/tmp/gbase_8a_5050.sockextra_loader_args=--parallel=4 --segment=2Mfile_list=/opt/data_times_100/lineorder.tblhash_parallel=4send_block_size=4M3、加载速度进程6666：进程7777：4.2 测试资源使用情况4.2.1 十三条sql执行过程在两次执行过程中，集群节点CPU集群节点磁盘集群节点剩余情况集群节点网络4.2.2 Sql并发压力测试集群节点磁盘集群节点剩余情况集群节点网络4.2.3 三加载机并发加载加载机CPU加载机磁盘加载机内存加载机网络4.2.4 单加载机多加载进程测试加载机CPU加载机磁盘加载机内存加载机网络第5章附件5.1 标准查询13个SQL1.sql2.sql3.sql4.sql5.sql6.sql7.sql8.sql9.sql10.sql11.sql12.sql13.sql 5.2 经改造的SQL12经改造的sql12.rar5.3 ssb测试包ssb.tar.gz4.2 测试脚本脚本一（ss1.sh）ss1.sh脚本二（ss.sh）ss.sh脚本三（cttest12.sh）cttest12.sh脚本四（inss.sh）inss.sh。

合集下载

集团大数据平台系统性能指标和测试结果说明

集团大数据平台系统性能指标和测试结果说明

集团大数据平台系统性能指标和测试结果说明集团大数据平台系统性能指标和测试结果说明本文介绍了一项针对运营商手机上网记录查询系统的性能测试。

该系统每日上网记录数近10亿条，每月数据量近9TB，数据量巨大，已经超越了传统关系型数据库可管理的容量上限。

因此，本测试旨在验证星环科技的商用Hadoop平台是否可以有效解决数据采集、加载、存储、查询、分析等问题。

测试内容包括存储节点数和存储量验证、并发加载数据的效率验证以及三个应用场景的性能验证。

测试环境配置包括300+台服务器、双电口万兆以太网卡、NameNode节点3台、DataNode节点、Zookeeper节点、集群监控节点、入库服务节点、Web查询应用服务器等。

测试结果显示，现有HDFS集群已被占用10.5PB，实际HBase表数据也已经有3.5PB左右。

集群导入性能没有问题，每秒平均达到1500万记录/秒，峰值时达到5000万/秒。

支持并发查询数目远高于请求/秒，上网记录查询速度不高于1秒。

总的来说，本测试证明了星环科技商用Hadoop平台的成熟稳定性，可以有效解决大规模数据管理的问题。

TPC-DS是一个多维数据模式的测试集，包含星型和雪花型等多种模式。

它包含7张事实表和17张纬度表，平均每张表含有18列。

该测试集包含99个SQL查询，覆盖SQL99和2003的核心部分以及OLAP。

这个测试集包含对大数据集的统计、报表生成、联机查询、数据挖掘等复杂应用，测试用的数据和值是有倾斜的，与真实数据一致。

可以说TPC-DS是一个与真实场景非常接近且难度较大的测试集。

TPC-DS的这个特点与大数据的分析挖掘应用非常类似。

Hadoop等大数据分析技术也是对海量数据进行大规模的数据分析和深度挖掘，也包含交互式联机查询和统计报表类应用，同时大数据的数据质量也较低，数据分布是真实而不均匀的。

因此TPC-DS成为客观衡量多个不同Hadoop版本以及SQL on Hadoop技术的最佳测试集。

企业apm测评报告

企业apm测评报告

企业apm测评报告1. 简介本报告对相关企业应用性能管理（Application Performance Management，APM）工具进行测评，目的是评估这些工具在帮助企业监控、管理和优化应用程序性能方面的能力。

我们将以各项指标对比、功能评价和用户体验等角度进行分析。

本报告旨在为企业选择合适的APM工具提供参考。

2. 测评指标2.1 性能监控成功的APM工具应具备实时性能监控能力，包括监控服务和服务器的响应时间、数据库查询时间、服务器负载等指标，并提供有效的图表和报表展现。

2.2 异常检测APM工具应能够在应用程序出现异常时及时发出警报，并提供错误日志、异常堆栈等相关信息，帮助企业快速定位并解决问题。

2.3 事务追踪事务追踪功能允许企业在应用程序中追踪和监控特定事务的性能，帮助识别潜在性能瓶颈。

2.4 可扩展性与兼容性APM工具应能够适应企业规模的增长，并支持多种应用程序、服务和技术。

2.5 用户友好性良好的用户界面和友好的操作体验是衡量APM工具的重要标准之一。

3. 测评结果3.1 性能监控APM工具响应时间监控数据库查询时间监控服务器负载监控-工具A 高高中工具B 中中高工具C 高高高3.2 异常检测APM工具警报功能错误日志异常堆栈工具A 中高高工具B 高中中工具C 高高高3.3 事务追踪APM工具事务追踪功能工具A 高工具B 中工具C 高3.4 可扩展性与兼容性APM工具可扩展性兼容性工具A 中高工具B 高中工具C 高高3.5 用户友好性APM工具用户界面操作体验工具A 高中工具B 高高工具C 中高4. 总结根据以上测评结果，我们对这些APM工具的综合表现进行评价。

工具A在性能监控和异常检测方面表现出色，但事务追踪和用户友好性略显不足。

工具B在可扩展性和兼容性方面表现出色，但性能监控稍逊一筹。

工具C在性能监控、异常检测和用户友好性方面都有着较好的表现。

综合来看，我们推荐企业选择工具C作为APM工具。

数据库性能和可用性性能安全测试报告

数据库性能和可用性性能安全测试报告

数据库性能和可用性性能安全测试报告报告摘要：本报告对数据库的性能、可用性和安全性进行了全面测试和评估。

通过对数据库的负载、压力和安全性等方面进行测试，并根据测试结果提出了相关建议，旨在不断提升数据库的性能和可用性，保障数据的安全。

一、背景介绍：数据库作为现代信息系统的核心组成部分，对于企业和组织的正常运行至关重要。

为确保数据库的正常运行和高效性能，测试数据库的性能、可用性和安全性是必不可少的。

二、性能测试：性能测试旨在评估数据库的响应时间、吞吐量和并发性能等关键指标。

1. 数据库响应时间测试：本次测试使用了多种常见业务场景对数据库进行了压力测试，通过模拟多用户同时访问、大数据量查询等方式，测量数据库的响应时间。

测试结果显示，在正常工作负载下，数据库的平均响应时间为X毫秒。

2. 数据库吞吐量测试：吞吐量测试旨在评估数据库在单位时间内所能处理的请求数量。

通过模拟大量并发用户同时访问数据库，测试结果显示，在正常工作负载下，数据库的吞吐量为X个请求/秒，达到了预期的目标。

3. 并发性能测试：并发性能测试旨在评估数据库在高并发情况下的表现。

通过模拟大量并发用户同时进行事务操作，测试结果显示，在高并发负载下，数据库表现出了较好的稳定性和可靠性，没有出现明显的性能下降。

三、可用性测试：可用性测试旨在评估数据库在各种异常情况下的可恢复性和可靠性。

1. 故障恢复测试：本次测试模拟了数据库服务中断、硬盘故障等故障场景，并评估了数据库的恢复能力。

测试结果显示，在面对故障时，数据库成功恢复并能继续提供服务。

2. 平台兼容性测试：为保证数据库的可用性，本次测试覆盖了多种操作系统和硬件平台的组合。

测试结果显示，在不同平台下，数据库均能正常工作和提供服务。

四、安全性测试：安全性测试旨在评估数据库的数据保密性和系统防护能力。

1. 数据保密性测试：通过模拟非授权用户的访问尝试，评估数据库的访问控制和权限管理能力。

测试结果显示，在设置了合理的权限和访问控制策略后，数据库成功保护了数据的保密性。

2小时掌握GBase 8a

2小时掌握GBase 8a

6 基本指令 ..................................................... 45 6.1 DDL .................................................... 47 6.1.1 数据库 ........................................... 47 6.1.2 表空间 ........................................... 48 6.1.3 表 ............................................... 49 6.1.4 视图 ............................................. 56 6.1.5 存储过程 ......................................... 60 6.1.6 自定义函数 ....................................... 64 6.2 DML .................................................... 68 6.2.1 INSERT ........................................... 68 6.2.2 UPDATE ........................................... 70 6.2.3 DELETE ........................................... 72 6.3 SELECT ................................................. 72
南大通用数据技术有限公司