下载文档原格式
SYBASE IQ 知识整理目录SYBASE IQ 知识整理 --------------------------------------------------------------------------------------- 01概述--------------------------------------------------------------------------------------------------- 4 1.1内容简介 (4)1.2Iq数据库的物理限制 (5)2SybaseIQ的安装 ---------------------------------------------------------------------------------- 5 2.1Sybase IQ单服务器系统的安装 (5)2.1.1操作系统级别的配置-------------------------------------------------------------------- 52.1.2搭建IQ数据库的用户环境------------------------------------------------------------ 62.1.3安装IQ数据库软件 --------------------------------------------------------------------- 72.1.4创建IQ数据库 --------------------------------------------------------------------------- 7 2.2Sybase IQ Multiplex多机系统安装 (8)2.2.1基础 ----------------------------------------------------------------------------------------- 82.2.2安装和配置方法-------------------------------------------------------------------------- 82.2.3MultiPlex的注意事项------------------------------------------------------------------- 92.2.4Multiplex重建查询服务器步骤 ------------------------------------------------------ 9 2.3注册插件 (9)2.4Utility数据库 (10)3优化和配置数据库参数 ------------------------------------------------------------------------- 10 3.1配置数据库优化参数 (10)3.2多个iq数据库的设置 (10)3.3配置内存和高速缓存 (11)3.3.1配置高速缓存分区---------------------------------------------------------------------- 113.3.2示例 ---------------------------------------------------------------------------------------- 11 3.4设置并发查询 (12)4Sybase IQ 数据加载----------------------------------------------------------------------------- 12 4.1数据加载语法 (12)4.2从定长的文本文件装载数据是装载数据的最快方式 (13)4.3使用LOAD TABLE装载文本文件注意事项 (13)4.4使用LOAD TABLE如何装载bcp导出的数据文件 (13)4.5数据装载时候遇到不能装载也不报错的问题 (14)4.6LOAD TABLE 如何进行错误处理 (14)4.7Loadtable 其他一些问题处理 (15)4.7.1数据库升级后load错误--------------------------------------------------------------- 154.7.2LOAD TABLE对缺省值的支持----------------------------------------------------- 164.7.3Sybase iq 加载时跳过错误 ----------------------------------------------------------- 165数据导出 ------------------------------------------------------------------------------------------- 16 6索引-------------------------------------------------------------------------------------------------- 17 6.1IQ的索引特性： (17)6.2索引的适用情况 (18)6.3并行执行创建索引 (19)7Sybase IQ 的主要语法简介-------------------------------------------------------------------- 19 7.1变量 (20)7.1.1局部变量 ---------------------------------------------------------------------------------- 207.1.2全局变量 ---------------------------------------------------------------------------------- 207.1.3连接级变量 ------------------------------------------------------------------------------- 20 7.2注释 (21)7.3表达式 (21)7.3.1IF 表达式 --------------------------------------------------------------------------------- 217.3.2CASE 表达式的语法 ------------------------------------------------------------------ 217.3.3游标FETCH 语句 ---------------------------------------------------------------------- 227.3.4循环语句FOR --------------------------------------------------------------------------- 237.3.5LOOP 语句------------------------------------------------------------------------------- 24 7.4日期和字符串比较 (25)7.5ALTER TABLE 语句 (25)7.6BACKUP 语句 (26)7.6.1语法 ---------------------------------------------------------------------------------------- 26 7.7创建iq空间设备（dbspace）语法 (26)8系统管理 ------------------------------------------------------------------------------------------- 27 8.1使用存储过程获取信息 (27)8.2查看数据库文件 (27)8.3Multiplex多机系统管理 (28)8.3.1主数据库空间的计数在写入和查询服务器上不同 ----------------------------- 288.3.2Multiplex 同步“Not enough space”错误---------------------------------------- 288.3.3备份和恢复Multiplex ----------------------------------------------------------------- 288.3.4更换写入服务器------------------------------------------------------------------------- 30 8.4系统表 (32)8.4.1DUMMY 系统表------------------------------------------------------------------------ 328.4.2IQ_MPX_INFO 系统表 --------------------------------------------------------------- 328.4.3Sysobjects系统表 ----------------------------------------------------------------------- 328.4.4SYSTABLE 系统表 -------------------------------------------------------------------- 338.4.5SYSCOLUMN 系统表----------------------------------------------------------------- 338.4.6SYSFKCOL 系统表 -------------------------------------------------------------------- 338.4.7SYSFOREIGNKEY 系统表 ---------------------------------------------------------- 338.4.8SYSINDEX 系统表 -------------------------------------------------------------------- 33 8.5恢复数据库 (33)8.6系统字符集问题 (34)8.7数据库权限 (34)8.7.1添加新用户 ------------------------------------------------------------------------------- 348.7.2授予对表、视图、存储过程的权限------------------------------------------------ 358.7.3撤消用户权限 ---------------------------------------------------------------------------- 358.7.4删除Sybase IQ 用户帐户------------------------------------------------------------ 368.7.5数据库连接问题------------------------------------------------------------------------- 368.7.6管理组 ------------------------------------------------------------------------------------- 368.7.7资源管理 ---------------------------------------------------------------------------------- 37 8.8系统日志清理 (37)8.8.1单机系统日志清理---------------------------------------------------------------------- 378.8.2SybaseIQ multiplex 日志清理-------------------------------------------------------- 38 8.9IQ数据仓库清理消息文件*.iqmsg (38)8.10数据库锁 (39)8.10.1锁定用户 ---------------------------------------------------------------------------------- 398.10.2解锁用户 ---------------------------------------------------------------------------------- 398.10.3锁表查看 ---------------------------------------------------------------------------------- 39 9存储过程 ------------------------------------------------------------------------------------------- 40 9.1存储过程的语法规则 (40)9.2输出存储过程中print消息； (40)9.3系统存储过程 (43)9.4Multiplex 系统过程 (43)10常用的函数 ---------------------------------------------------------------------------------------- 43 10.1日期和时间函数 (43)10.2CONVERT数据类型转换函数 (43)10.3字符串函数 (44)11故障排除（添加中） ---------------------------------------------------------------------------- 45 11.1insert thrashing detected 或者Hash find thrashingdetected (45)11.2ASA Error -1009134: Insufficient buffers for sort. (45)11.3Multiplex出现other version 数值过大 (46)11.4删除数据库中损坏的表 (46)11.5使用强制模式恢复数据库 (47)11.6删除损坏的数据库空间 (48)11.7删除重复记录 (49)11.8一个实现IQ结果集分页SQL查询的调优 (49)12系统诊断工具SQL Trace ----------------------------------------------------------------------- 51 12.1SYBASE IQ 15之前的SQL Trace (51)12.2SYBASE IQ 15的SQL Trace功能增强 (52)13IQ 15 集群搭建----------------------------------------------------------------------------------- 53 13.1环境要求 (53)13.2创建Simplex IQ Server (54)13.3创建IQ Multiplex (55)13.4设置IQ Multiplex (56)14获取iq数据库文件和日志路径 --------------------------------------------------------------- 57 15IQ存储过程返回集的问题 --------------------------------------------------------------------- 57 16Utility数据库-------------------------------------------------------------------------------------- 58 16.1命令行下面启动和执行 (58)17IQ的官方资源 ------------------------------------------------------------------------------------ 5818附录-------------------------------------------------------------------------------------------------- 60 18.1Iq数据库创建脚本 (60)18.1.1以普通方式创建数据库（非裸设备）--------------------------------------------- 6018.1.2以裸设备方式创建数据库示例 ------------------------------------------------------ 60 18.2开机自动启动数据库示例 (61)18.3数据库配置文件params.cfg (61)18.4IQ15以上版本安装 (61)18.5Iq命令行 (62)18.5.1dbsqlc命令实例： ---------------------------------------------------------------------- 6218.5.2isql命令实例：-------------------------------------------------------------------------- 62 19硬件方面问题 ------------------------------------------------------------------------------------- 63 19.1对每块磁盘进行独立的磁盘扫描 (63)19.2为linux设定swap分区 (64)19.3Aix 磁盘操作 (64)19.4配置NFS (66)19.5如何格式化2T以上的分区 (66)19.6时间设置 (66)19.7配置图形安装界面 (66)19.8为Red Hat Linux5添加裸设备 (67)19.9为linux4添加裸设备 (67)19.10Liunx清理swap和缓存 (68)19.10.1清理swap --------------------------------------------------------------------------------- 6819.10.2清理缓存 ---------------------------------------------------------------------------------- 68 19.11磁盘柜多路径驱动 (68)20优化指导 ------------------------------------------------------------------------------------------- 721概述1.1 内容简介本手册主要针对sybase iq文档内容进行提炼和总结，主要包括：Sybase IQ 单机系统的安装方法Sybase IQ 的性能配置Sybase IQ 多机系统搭建Sybase IQ 的主要语法简介Sybase IQ 的系统管理Sybase IQ 的存储过程Sybase IQ 的数据加载和导出Sybase IQ 的索引1.2 Iq数据库的物理限制2SybaseIQ的安装2.1 Sybase IQ单服务器系统的安装主要介绍linux系统下单机系统的安装，对linux3、4、5的版本均适用，windows系统的安装比较简单，无需额外配置，故不作说明。
Sybase ASE各系统数据库一、ASE中的各种数据库在我们安装Adaptive Server后创建一套ASE数据库系统时，ASE的数据库配置程序（asecfg、srvbuild、syconfig等）将默认创建下面的系统数据库，每个数据库各有其用途：master数据库，包含系统表，这些系统表中的数据用于管理；model模板数据库，用于创建新的数据库；sybsystemprocs数据库，存放系统存储过程；sybsystemdb数据库，关于分布式事务管理功能；tempdb数据库，包含临时表，放置临时数据。
除去上述5个必须安装的系统数据库外，还可以选装下面几个数据库：审计数据库sybsecurity，包含审计信息，用于系统管理员对用户的审计；样本数据库pubs2、pubs3，关于一个虚构的图书销售公司的示例；语法数据库sybsyntax，包含SQL关键词的语法帮助；dbcc数据库dbccdb，包含从dbcc checkstorage的输入和输出，用于检查数据库一致性；Job Scheduler数据库sybmgmtdb，用于存储作业数据、预定作业信息等与Job Scheduler 内部处理相关的数据。
最后一种，是为应用而建立的，用于存放应用数据的应用数据库，或者说用户数据库。
因此，在一套ASE系统中，可能有的数据库如图1-25所示。
第一行：系统数据库第二行：用户数据库、演示数据库第三行：选装数据库ASE是通过master数据库来管理其他数据库的，因此它也称为主数据库。
它与其他数据库的关系如图1-26所示。
ASE中master库之所以可以管理其他数据库，是因为master中拥有记载和管理ASE全系统信息的"系统表"，这些系统表（也可称为系统数据字典）存放了所有有关ASE系统配置、安全管理、对象管理的全局性信息。
每个非master数据库也有自己的系统表，称为数据库级系统表。
和master数据库中记录全局性信息的系统表不同，这些数据库级系统表用于存储这个特定数据库中的系统数据和状态信息记录。
SYBASE产品特点说明数据仓库SYBASE IQIQ是Sybase公司推出的特别为数据仓库设计的关系型数据库。
IQ的架构与大多数关系型数据库不同，它特别的设计用以支持大量并发用户的即席查询。
其设计与执行进程优先考虑查询性能，其次是完成批量数据更新的速度。
SYBASE IQ是全球市场上排名第一位的列式分析服务器，为全球4000多个客户提供无与伦比的分析性能。
SYASE IQ在分析型应用中拥有得天独厚的优势，这些特点主要包括：基于列式存储，适合海量数据处理。
高效的数据压缩能力，相比于其他传统行式数据库提供3-6倍的数据压缩能力。
节约存储开支。
高效的查询分析能力。
提供10种索引，大幅提升系统查询分析性能。
IQ中大量使用位图索引和bit-wise索引。
快速的数据加载能力，允许用户在短时间内加载海量的企业数据。
广泛的支持数据模型，即支持传统的数据库模型，也支持基于数据仓库的数据模型。
利用IQ Multiplex技术实现线性水平扩展，可以支持海量数据管理和成千上万的并发用户数访问。
利用Multiplex技术提升系统的可用性，为企业提供7×24小时的不间断分析服务。
提供非结构化数据的存储和全文检索的能力，让企业轻松处理e-mail、pdf、word等文档信息。
IQ是一个专门针对数据仓库设计的关系型数据库，能够满足面向数据仓库和商务智能分析的所有需求：大数据量、快速响应、大量用户并发、易学易用且维护简单等等。
它的并行架构能够将系统扩充到数百个节点而不需要对应用或DBA控制程序做任何的修改，并且不需要中断系统的运行。
所获殊荣（国内部分）IQ与Oracle性能对比（最新TPC-H测试数据）TPC-H（商业智能计算测试）是TPC的重要测试标准之一，主要用来模拟真实商业的应用环境。
与科学计算测试不同，商业智能计算测试是对现实中商用计算需求的全面模拟。
它包括模拟真实商业交易数据库的动态查询，以及作为决策支持与数据库应用系统的参考。
【综合消息】快速认识Sybase IQ是一个专门面向数据仓库环境的关系型数据库。
不同于传统的关系型数据库所采用的行存储，Sybase IQ采用基于列的存储方法，这使Sybase IQ与其主要竞争对手有着明显的区别。
这种方法在查询环境中提供了众多的优势，包括性能与可扩展性。
尤其是，Sybase IQ通常能够在所要求的硬件资源减少的情况下，仍能提供查询性能方面的巨大改进（尤其是对复杂查询或者需要大表扫描的查询）。
在最近的版本中，Sybase通过Sybase DODS解决方案扩展了其用途，该方案利用Sybase IQ与Replication Server技术为报表与分析提供一个实时的同步环境，从而使报表和查询不必运行于操作型系统中。
关键特征Bloor Research认为，用户事先已经对如下关键内容有所了解：◆Sybase IQ是一个基于列存储的关系型数据库，从根本上比行存储方式更适合于即席查询进程。
由于其列存储的特性，Sybase IQ以大量不同的方式充分利用每个列的特性：◆首先，Sybase IQ发布了多种专门的索引以提升查询性能。
这些包括为低基数数据、联合列、文本分析、Web应用的实时比较、以及实时的数据与时间序列分析所设立的索引。
◆联合使用列存储与Sybase IQ的Bit-Wise索引（另一选择）的结果就是，聚合可以随时进行。
如果说事务的预先聚合是抽取、转换、加载（ETL）功能的重要一部分，那么在此可能并不需要一个完整的ETL层。
另外，这种方法比预先聚合的数据具有更大的灵活性（由于你并不总是事先了解你所要进行聚合的内容）。
◆列存储方法使数据压缩比使用传统方法下更容易实现，而且，压缩效果也更加显著。
事实上，Sybase IQ如此出色，即使使用了索引，其存储也从未超过原始数据的大小。
这点与传统数据库相比，取得了数倍的改进效果。
Sybase IQ在实际应用中已被证实，数据压缩比例多至原始数据集的50%到70%。
SybaseASE系列第一讲数据库基础知识教学内容：本讲主要介绍Sybase ASE数据库的基础知识。
包括数据库的定义、分类、基本术语，以及Sybase ASE的系统架构和组件。
教学目标：1. 了解数据库的基本概念和术语，如数据库、表、字段等。
2. 理解数据库的分类和特点，如关系型数据库、SQL语言等。
3. 熟悉Sybase ASE的系统架构和主要组件，如数据库引擎、事务服务器等。
教学难点与重点：难点：数据库的分类和特点，Sybase ASE的系统架构和组件。
重点：SQL语言的基本语法和使用方法。
教具与学具准备：教具：PPT、投影仪、电脑。
学具：笔记本、笔。
教学过程：1. 实践情景引入：介绍数据库在日常生活中的应用，如购物网站、银行系统等。
2. 知识点讲解：讲解数据库的基本概念和术语，如数据库、表、字段等。
3. 例题讲解：通过实例讲解SQL语言的基本语法和使用方法。
4. 随堂练习：让学生编写简单的SQL语句，进行数据的查询、插入、更新和删除操作。
5. 知识点拓展：介绍数据库的分类和特点，如关系型数据库、SQL语言等。
6. 案例分析：分析Sybase ASE的系统架构和主要组件，如数据库引擎、事务服务器等。
板书设计：1. 数据库基本概念：数据库、表、字段等。
2. 数据库分类和特点：关系型数据库、SQL语言等。
3. Sybase ASE系统架构和组件：数据库引擎、事务服务器等。
作业设计：1. 请简述数据库、表、字段的定义和关系。
答案：数据库是存储数据的容器，表是数据库中的一个表结构，字段是表中的一个列。
数据库包含多个表，表由多个字段组成。
2. 请列举三种常用的数据库分类及其特点。
答案：关系型数据库、非关系型数据库、分布式数据库。
关系型数据库特点：数据以表格形式存储，具有严格的结构约束；非关系型数据库特点：数据以键值对形式存储，具有灵活的结构；分布式数据库特点：数据分布在多个节点上，具有高可用性和可扩展性。
SybaseIQ+ETLSybaseIQ ETL－SOLONDE1.1 Sybase IQ ETL介绍Sybase IQ ETL的整体架构是基于高度可扩展并被验证过的总线式架构。
总线式架构是一种高效的体系架构，提供了快速的点到点的连接。
SYBASE IQ ETL支持数据库、电子数据表、应用、平面文件、XML以及Web Service等。
此外，SYBASE IQ ETL提供了独一无二的基于组件的实现方式，通过这种方式，无需其他专家的帮助，你就可以简单地“描绘并模拟”你的解决方案。
这些可以确保在几天的时间里能即刻提高生产力，获得高的投资回报率。
这些独到的设计能力确保业务和技术专家能肩并肩坐在一起来设计集成的工作场景，避免进入传统的永无休止的、耗时的制定规格、误解和失败的循环。
SYBASE IQ ETL产品被设计成面向自学者，用户只需10分钟就能学会操作。
产品附带了大量的文档以及联机的培训资料，这些资料都提供了Windows 风格以及各种主流的UNIX的风格。
下面是SYBASE IQ ETL提供的一些关键的特点：1.1.1可视化的和面向处理过程的开发环境：SYBASE IQ ETL提供一个流程设计器（Process Designer）组件，用户可以通过它设计出可视化的数据抽取模型，将对数据进行抽取、变换、预处理和向数据仓库中集成的全过程直观地展现出来。
流程设计器使您可以通过可视化的方式表示转换流，只需要简单地在需要转换的组件之间画一条线。
独到的数据模拟机制使得在工作的时候能够进行实时的测试和质量控制，这是一种非常有用的特性，使得在设计的时候就避免了许多潜在的问题。
您可以在非法的数据搞垮您的系统之前就发现它们。
在流程设计器中可以用到的转换组件包括：●支持所有主流数据库、平面文件、XML和ODBC的数据提供者（DataProvider）●强大的转换、清洗组件，包括流程控制、映射、分割、颠倒数据流，UTL、Javascript，以及动态调用外部子系统。
sybase建库sybase数据库使用教程contents •Sybase数据库简介•Sybase数据库安装与配置•Sybase数据库基本操作•Sybase数据库高级功能•Sybase数据库性能优化•Sybase数据库备份与恢复•Sybase数据库安全管理目录01Sybase数据库简介Sybase 数据库提供了高性能的数据处理能力，支持大量并发用户和数据操作。
高性能Sybase 数据库具有良好的可伸缩性，可以根据业务需求进行扩展或缩减。
可伸缩性Sybase 数据库提供了多种安全机制，包括身份验证、访问控制、数据加密等，确保数据的安全性和完整性。
安全性Sybase 数据库提供了丰富的开发和管理工具，使得数据库的开发、部署和维护变得更加容易。
易用性Sybase 数据库特点03互联网应用Sybase 数据库也适用于互联网应用，如电商、社交等，能够应对高并发、大数据量的挑战。
01企业级应用Sybase 数据库适用于大型企业级应用，如ERP 、CRM 等，能够满足复杂业务流程和数据处理需求。
02移动应用Sybase 数据库支持移动应用的后端数据库，为移动应用提供高效、稳定的数据存储和处理能力。
早期阶段发展壮大被收购与整合Sybase数据库最早由Sybase公司开发，是一款基于关系型数据库的管理系统。
随着市场需求的不断增长，Sybase数据库不断进行技术创新和产品升级，逐渐发展成为一款功能强大的企业级数据库产品。
后来，Sybase公司被SAP公司收购，Sybase数据库也成为了SAP产品线中的重要组成部分，与SAP的其他产品进行了深度整合和优化。
02Sybase数据库安装与配置安装Sybase 数据库软件按照安装向导的指示完成软件的安装过程，选择适当的安装选项和配置设置。
验证安装安装完成后，可以通过命令行界面或图形用户界面验证Sybase 数据库软件是否成功安装。
下载Sybase 数据库软件安装包从官方网站或可信赖的下载站点获取适用于您的操作系统的Sybase 数据库软件安装包。
