B2_南大通用数据库技术白皮书(标准版)_GBase8s_V3.6

格式：pdf
大小：951.46 KB
文档页数：33

下载文档原格式

南大通用安全数据库管理系统

南大通用安全数据库管理系统技术白皮书
2011 年 1 月
GBase 版权所有©2011，保留所有权利。
版权声明
本文档所涉及的软件著作权、版权和知识产权已依法进行了相关注册、登记，由南大通用数
据技术有限公司合法拥有，受《中华人民共和国著作权法》、《计算机软件保护条例》、《知识
产权保护条例》和相关国际版权条约、法律、法规以及其它知识产权法律和条约的保护。未
3.1 支持的操作系统和平台.............................................................................................6
3.2 技术指标 .................................................................................................................... 6
经授权许可，不得非法使用。
免责声明
本文档包含的南大通用公司的版权信息由南大通用公司合法拥有，受法律的保护，南大通用
公司对本文档可能涉及到的非南大通用公司的信息不承担任何责任。在法律允许的范围内，
您可以查阅，并仅能够在《中华人民共和国著作权法》规定的合法范围内复制和打印本文档。
任何单位和个人未经南大通用公司书面授权许可，不得使用、修改、再发布本文档的任何部
GBase 8s 技术白皮书
目录
1 GBase 8s 安全数据库产品简介........................................................................................1

南大通用GBase 8s_GROUP BY支持标量函数和表达式问题详解

Group By支持标量函数和表达式问题详解1概述为与主流数据库兼容，GBase 8s在很多国产化替代项目中做了很多努力，其中，Group By语句对标量函数及表达式的支持问题较为典型，这篇文章会详细阐述一下。

2问题现状2.1现状描述在某国产化替代项目现场出现如下场景：Group By子句需要支持to_char函数分组（包含不在投影列中的字段）。

在这种场景下，GBase 8s会报错“SQL错误【ErrorCode：-201】【SQLState：42000】：A syntax error has occurred.”。

如下所示：源SQL：selectcount(distinct(t.col4)) as psr_num,1 as defaulVal,t.col2from test twhere t.col1 > 10group by t.col2,to_char(t.col5,'YYYY-MM-DD') ;2.2问题分析在某主流数据库中对Group By语句对标量函数及表达式支持情况进行测试分析，过程如下。

a.测试表table1结构:col1col2col3col4col5col612312019-10-10 12:12:122019-10-11 12:12:12 b.测试过程：⚫标量函数➢测试SQL：标量函数：SQL1: select col2, to_char(col5,'YYYY-MM-DDHH:MM:SS'),count(distinct(col4)) from table1 group by col2, to_char(col5,'YYYY-MM-DD HH:MM:SS');SQL2: select abs(col2), count(distinct(col4)) from table1 group by abs(col2), col1;SQL3: select to_char(col5,'YYYY') from table1 group by to_char(col5,'YYYY-MM');SQL4: select to_char(col2) from table1 group by abs(col2);SQL5: select col3+abs(col2), count(distinct(col4)) from table1 group by abs(col2), col3;嵌套函数：SQL6: select sum(avg(abs(col2))) from table1 group by nvl(col2,col3);SQL7: select avg(sum(avg(abs(col2)))) from table1 group by nvl(col2,col3);SQL8: select to_char(abs(abs(col2))) from table1 group byto_char(abs(abs(col2)));➢测试结果：SQL1-2、SQL5语句执行成功，SQL3-4语句执行失败，说明标量函数在select 投影列中单独存在时需与group by语句中出现的标量函数保持一致，包括函数名称及参数。

南大通用大数据新型列存储数据库GBase 8a透明网关参考手册

南大通用大数据新型列存储数据库GBase 8a透明网关参考手册南大通用大数据新型列存储数据库GBase 8a透明网关参考手册引言本文档为南大通用大数据新型列存储数据库GBase 8a透明网关的参考手册，旨在为用户提供详细的使用指南和技术支持。

本手册将介绍GBase 8a透明网关的功能和操作方法，并提供相关示例和案例，以帮助用户全面了解和使用该产品。

章节一、产品概述1.1 产品介绍1.1.1 GBase 8a透明网关的作用和优势1.1.2 适用场景和使用范围1.1.3 系统环境要求1.2 主要功能特性1.2.1 数据安全性和隐私保护1.2.2 数据传输效率和性能1.2.3 数据连接和集成1.2.4 数据存储和管理1.2.5 监控和日志管理1.3 系统组成和架构1.3.1 系统组件和模块1.3.2 系统架构图1.3.3 数据流和传输路径章节二、安装与配置2.1 安装准备2.1.1 硬件和软件要求2.1.2 系统文件和目录结构 2.1.3 安装包和2.2 安装步骤2.2.1 安装前准备工作2.2.2 安装过程和注意事项 2.2.3 安装后配置和初始化2.3 网关管理和设置2.3.1 网关管理控制台介绍2.3.2 系统设置和配置2.3.3 用户管理和权限设置章节三、数据传输与集成3.1 数据源配置和连接3.1.1 数据源类型和兼容性 3.1.2 数据源连接方法和参数 3.1.3 连接池管理和优化3.2 数据传输和同步3.2.1 数据传输模式和方式 3.2.2 数据同步策略和机制 3.2.3 数据过滤和转换3.3 数据集成和交互3.3.1 数据集成工具和方法 3.3.2 数据交互接口和格式 3.3.3 数据映射和转换规则章节四、数据存储与管理4.1 数据存储结构和管理4.1.1 数据表和表空间4.1.2 数据索引和分区4.1.3 数据备份和恢复4.2 数据查询和操作4.2.1 SQL查询语句和优化 4.2.2 数据增删改操作4.2.3 事务处理和并发控制4.3 数据安全和权限管理4.3.1 数据权限和访问控制 4.3.2 数据加密和解密4.3.3 审计和日志记录章节五、监控与维护5.1 系统监控和管理5.1.1 系统性能监控和调优 5.1.2 错误日志和告警处理 5.1.3 运行状态和资源管理5.2 数据库维护和优化5.2.1 数据库备份和恢复5.2.2 索引和查询优化5.2.3 数据碎片整理和压缩5.3 系统升级和升级5.3.1 安全升级和漏洞修复5.3.2 新功能和版本兼容性5.3.3 系统配置和参数修改附件：本文档涉及附件，如数据库安装包、配置文件示例、使用案例、问题排查指南等，请参考附件部分。

南大通用数据技术股份有限公司-Oracle到GBase 8s迁移指南-存储过程函数触发器_V3.1.

南大通用数据技术股份有限公司
-2-Biblioteka 的表及 rowtype 定义格式如下：
createtabletb1( idint, namevarchar(20), primarykey(id)
); createrowtypert_tb1(
南大通用数据技术股份有限公司
-1-
1. 概述
将数据库从 Oracle 迁移到 GBase 8s 主要完成三个任务：数据库架构迁移 (Schema/DDL)、数据迁移(Data)和应用迁移(Application)。数据库对象迁移的很大一部分工作量是存储过程、函数和触发器的迁移，这部分的迁移迄今为止工具（如 MTK）迁移完成的效果很不令人满意，主要还是靠人工手动将 Oracle 的语法及业务逻辑翻译成 GBase 8s 的语法及完全不改变业务逻辑本身，并且要尽量适应原应用程序的调用格式，尽量少的修改应用源码，这样既能保证少出错误，也同时能保证应用迁移的工作量尽可能的少。本文将以实际迁移中针对 Oracle 的具体语法常用的替换方式（但不一定是唯一的）来详细介绍一下过程对象的迁移过程，希望对正在或者准备进行 Oracle 到 GBase8s 迁移项目的工作人员有一定的指导和启发。
本文基于 GBase8sv8.72.0.1a2_2 版本来介绍。
2. 概念
存储过程是一个用户定义的函数，由存储过程语句（SPL）组成，以可执行代码的形式存储在数据库中，因此执行速度要比单独执行单个 SQL 快，是数据库的一种对象，用存储过程语言编写。存储过程常用于执行一个公用的应用逻辑，不用每个编程人员都去写这些重复的代码，因此可以加快开发的速度，由于代码变更时，只需要修改这个过程，因此代码的维护量也降低了。

GBase 8a 大数据数据库平台介绍

优点: 进一步高效降低I/O 突破传统基于行存储的索引技术的局限性全部字段都自动建索引，自动优化提供统计信息，直接在索引上进行聚合运算
GBase 8a 使用智能索引原理
Select a, sum(b) as b from mytab
结果集
A<=‘100101’ ?
Where a<=‘100101’
• Oracle Exadata：hybrid columnar compression • SQL Server 2008 R2：column index • Vertica ：column store + projection
x-86平台的崛起
3
新的列存储架构优势
• Greenplum ： row + column store • Sybase IQ：column store • GBase 8a ：column store • Hbase ：column KV store •Teradata V14 : column store
在这个案例中，GBase 8a需要的IO只是行存数据库的1/10。
高效自适应压缩 - 提升I/O性能
create table lineorder (
lo_orderkey bigint, lo_linenumber int compress(2), lo_custkey int, lo_partkey int, lo_suppkey int, lo_orderdate int, lo_orderpriority varchar(15) compress(0), lo_shippriority varchar(1) , lo_quantity int, lo_extendedprice int, lo_ordtotalprice int, lo_discount int, lo_revenue int, lo_supplycost int, lo_tax int, lo_commitdate int, lo_shipmode varchar(10) ) compress(1,3);

南大通用大数据新型列存储数据库GBase 8a 技术白皮书

皮书
GBase 8a 产品介绍
3. GBase 8a 产品介绍
GBase 8a 的架构设计充分满足了海量数据分析需求，是具有高效复杂统计和分析能力的列存储关系型数据库管理系统。 GBase 8a 面向分析型应用领域，以列为基本存储结构和数据运算对象，结合列数据压缩处理、并行处理、智能索引等新型数据处理技术。下图展现了 GBase 8a 的体系结构。

GBase 8a 技术白皮书
GBase 8a 产品简介
1. 分析型数据库
1.1. 分析型应用的产生背景
在过去的十年里，数据的有效利用已经成为各单位议事日程上最优先的项目之一。近几年来，企业和政府机构已经完成了信息化建设的初步阶段，即数据的采集和事务应用。但随之而来产生了新的问题：如何对已有海量数据进行有效利用；如何对数据进行挖掘、分析；如何从历史数据中获取规律，以指导企业的规划和决策；怎样支持海量数据的即席查询、数据比对；如何有效解决这些问题是信息化建设新的阶段和发展方向。有这样一个案例：某电信运营商发现用户在已经拥有一个移动号码的情况下，再次购买归属的同一运营商的新号码入网，新号码全部或者部分替代原有旧号码，这种现象称为“重入网现象” 。重入网泛滥使得该运营商营销渠道成本剧增，导致卡资源号码资源的紧缺，严重影响正常运营。运营商非常希望找到一种方法，识别出重入网用户。但面对每月新增 70 万用户和已有的 40 TB 历史数据，如何及时准确的甄别出重入用户，使用传统事务型数据库管理系统几乎是不可能完成的。这一应用场景需要专为海量数据分析处理使用的新型列存数据库管理系统的支持。面对这类日益增加的海量数据分析需求，现有的传统数据库有明显的缺陷。这些弊端包括：低下的数据查询性能（传统数据库对上述案例的响应时间为几个小时）；对异构数据库访问困难；惊人的存储成本；沉重的维护成本。

大数据标准化白皮书

3.大数据发展现状和趋势................................................................................................................ 89 3.1 国外大数据发展 ..........................................................................................................................89 3.1.1 政府出台计划.....................................................................................................................910 3.1.2 工业界大数据研究..........................................................................................................1213 3.2 国内的大数据现状 ..................................................................................................................1415 3.2.1 国内大数据关注焦点.......................................................................................................1415 3.2.2 地方政府探索大数据应用...............................................................................................1617 3.3 大数据产品的发展趋势 ..........................................................................................................2021 3.3.1 大数据由网络数据处理走向企业级应用 ......................................................................2021 3.3.2 移动终端数据应用将成为下一轮创新的中心 ..............................................................2122 3.3.3 “数据租售”成为最直接的盈利模式 ..........................................................................2122

GBase-8s数据库JDBC Driver程序员指南-D

3.4DriverManager.getConnection()方法.......................................................................-21-
3.4.1数据库URL的格式....................................................................................-22-
226754text和clob数据类型的代码集转换226755blob和byte数据类型的代码集转换22976用户定义的语言环境229761使用newlocale和newcodeset环境变量连接229762使用newnlsmap环境变量连接23077支持全球化的错误消息2308调优和故障排除23181调试jdbcapi程序23182管理性能231821管理访存缓冲区大小232822大对象的内存管理232823减少网络流量233824批量插入234825连接池234826避免应用程序挂起问题仅限于hpux2399附录23991示例代码文件239911可用示例摘要23992datasource扩展247921读和写属性248922获取和设置标准属性249923获取和设置gbase8s连接属性249924获取和设置连接池datasource属性25393映射数据类型254931在gbase8s和jdbc数据类型之间映射的数据类型254932preparedstatementsetxxx扩展的数据类型映射258933resultsetgetxxx方法的数据类型映射268934udtmanager和udrmanager的数据类型映射27294转换内部gbase8s数据类型276941ifxtojavatype类27695错误消息2869517970028695279702286gbase8sjdbcdriver程序员指南gbase8sjdbcdriver程序员指南i南大通用数据技术股份有限公司i南大通用数据技术股份有限公司95379703286954797042869557970528695679706286957797072879587970828795979709287951079710287951179711287951279712288951379713288951479714288951579715288951679716288951779717288951879718289951979719289952079720289952179721289952279722289952379723289952479724290952579725290952679726290952779727290952879728290952979729290953079730291953179731291953279732291953

南大通用等保三级硬加密安全数据库GBase8s产品介绍

GB17859
产品类
操作系统安全技术要求
数据库管理系统安全技术要求
网络和终端设备隔离部件技术要求
其他产品类标准
）

11
信息系统安全保护等级划分
全︽保计护算等机级信划息分系准统则安︾访问验证保护级 …………
结构化保护级
通用准则（CC） V1.0 1996年 V2.0 1998年 V2.1 1999年
1999年CC V2.1 成为国际标准（ISO15408）
1993年美国信息技术安全联邦标准（FC）草案

8
安全数据库国际标准
美国国家计算机安全中心《可信计算机系统评估标准关于可信数据库系统的解释》
（Trusted Database Interpretation 简称TDI）：
TDI将TCSEC扩展到数据库管理系统 TDI中定义了数据库管理系统的设计与实现中需满足和用以进行安全级别评估的标准 TCSEC/TDI标准主要从四个方面来描述安全级别划分的指标：安全策略、责任、保证、文档安全级别 A1 B3 B2 B1 C2 C1 D
信息系统安全保护等级划分
《信息安全等级保护管理办法》（公通字[2007]43号）第十条中明确规定：信息系统运营、使用单位应当依据本办法和《信息系统安全等级保护定级指南（ GB/T 22240-2008）》确定信息系统的安全保护等级。
对客体的侵害程度受害的客体一般损害公民、法人和其他组织的合法权益社会秩序、公共利益国家安全第一级第二级第三级严重损害第二级第三级第四级特别严重损害第二级第四级第五级
GBase 8s 存储加密特点

GBase8t产品介绍

行业应用：银行行业
华夏银行(5+)
1. 2. 3. 4. 5. 外汇买卖外汇卡外汇清算外汇卡消费 ……
上海银行(10+)
1. 核心业务系统 2. 网银系统 3. atm监控系统 4. MQSeries系统 5. 大前置业务系统 6. 对公前置 7. 短信业务系统 8. 客服中心业务系统 9. 信贷系统（SDS+HDR） 10.……
国防公安
安全能源
电信
金融政务
电力石化
云网端工业制造
新业务
行业应用
医疗交通教育零售
其他
应用案例
金融行业：华夏银行
GBase 8t金融行业的第一案例
• 为响应银监会39号文件，关于国产化要求，在金融行业华夏银行率先进行了国产化数据库选型 • 经过多次测试与竞争性谈判， GBase 8t优势明显，最终取得华夏银行的信任，达成战略合作 • 有幸成为国产数据库在金融行业的第一案例，具有重要意义 • 华夏银行将以外围系统为试点，逐渐展开国产化数据库替代核心交易系统
国产跟随、差距巨大
国产数据库跟随战略，技术上落后两代十年国内数据库市场份额大部分被国外品牌占据
13
GBase 8t：源自高端
源于Informix 12.10最新版源代码自主构造
国家政府部门（经信委）的主导下促成了南大通用和IBM的战略合作
自主、可控、安全
世界领先
高端交易型
GBase8t
GBase 8t 行业应用
其他银行
1. 北京农信 2. 泰隆银行 3. 鄞州银行 4. 南京银行 5. 徽商银行 6. 宁夏银行 7. 辽宁农信 8. 晋城银行 9. 兴业银行 10.……

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

4.2.4 SCHEMA ........................................................................................ 17 4.2.5 视图................................................................................................. 17 4.2.6 存储过程......................................................................................... 18 4.2.7 触发器............................................................................................. 19 4.3 数据库维护管理功能 ................................................................................. 19 4.3.1 备份................................................................................................. 19 4.3.2 恢复................................................................................................. 20 4.3.3 性能优化手段 ................................................................................. 20 4.3.4 参数及其设置方式 ......................................................................... 21 4.3.5 复制................................................................................................. 21 4.4 开发接口支持 ............................................................................................. 21
4 GBase 8s 产品功能 ...................................................................................................8 4.1 安全功能 ....................................................................................................... 8 4.1.1 身份鉴别功能 ................................................................................... 8 4.1.2 自主访问控制 ................................................................................... 9 4.1.3 数据完整性..................................................................................... 10 4.1.4 数据安全性..................................................................................... 11 4.1.5 安全客体重用 ................................................................................. 12 4.1.6 安全审计......................................................................................... 13 4.2 SQL 核心功能............................................................................................. 13 4.2.1 数据类型......................................................................................... 13 4.2.2 SQL 语法支持 ................................................................................ 14 4.2.3 函数................................................................................................. 15
2 GBase 8s 安全数据库产品架构 ...............................................................................4 2.1 产品架构 ....................................................................................................... 4 2.2 产品组件模块 ............................................................................................... 4
北京分公司：北京市海淀区金源时代商务中心 2 号楼 B 区 1205-1206
电
话：010-88866866
传
真：010-88864556

E-mail:info@
GBase 8s 技术白皮书
目录
1 GBase 8s 安全数据库产品简介 .............................................................................. 1 1.1 GBase 8s 产品开发背景 ...............................................................................1 1.2 GBase 8s 主要技术特点 ...............................................................................2 1.3 GBase 8s 产品功能简介 .............................................................................. 2
4.4.1 ODBC.............................................................................................. 21
南大通用数据技术有限公司
I
GBase 8s 技术白皮书
4.4.2 JDBC............................................................................................... 22 4.4.3 ....................................................................................... 22 5 GBase 8s 产品性能................................................................................................. 23 5.1 高效的文件空间和磁盘管理 ..................................................................... 23 5.2 可配置的多工作者线程处理能力 ............................................................. 24 5.3 高效的事务并发控制和管理机制 ............................................................. 24 5.4 可配置的、高效的内存管理策略 ............................................................. 24 5.5 高效的查询优化策略 ................................................................................. 24 5.6 透明存储加密机制..................................................................................... 25 6 GBase 8s 图形化管理工具.................................................................................... 26 6.1 企业管理工具............................................................................................. 26 6.2 配置管理工具............................................................................................. 27 6.3 数据迁移工具............................................................................................. 27 6.4 状态监控工具............................................................................................. 28 6.5 备份恢复工具............................................................................................. 29 6.6 审计管理工具............................................................................................. 30