下载文档原格式
Teradata系统架构及特性Teradata基础知识和使用过程中应该注意的问题Teradata系统架构及特性DW项目组赵世辉2010年5月Teradata基础知识和使用过程中应该注意的问题Teradata系列培训基础培训1. 2. 3. Teradata软硬件体系架构原理Teradata数据库对象介绍Teradata工具集介绍中级培训1. Teradata数据库设计规范2. Teradata SQL规范3.数据仓库Teradata平台管理规范高级培训1. 2. 3. 4. 5.| 2Teradata工具使用方法和技巧Teradata程序设计与开发数据库高级管理数据库调优。
内部资料请勿外传Teradata基础知识和使用过程中应该注意的问题目录Teradata软硬件体系结构Teradata数据库原理及特点Teradata 数据保护机制Teradata系统访问配置及连接方式Teradata使用中的一些问题及案例分析| 3内部资料请勿外传Teradata基础知识和使用过程中应该注意的问题Teradata系统的硬件构成BynetBynet线光纤PLine/Sline以太网存储阵列MPP节点AWS| 4备份服务器内部资料请勿外传磁带库Teradata基础知识和使用过程中应该注意的问题Teradata主机结构MPP系统工作站集群模式批量处理优化底层并行线性扩展均衡负载高可用性热备组件RAID技术Clique技术| 5内部资料请勿外传Teradata基础知识和使用过程中应该注意的问题AWS及备份设备收集显示主机、存储、Bynet所有模块运行信息设备管理的统一界面AWS通过TVI进行远程维护和故障通知基于LAN-BASE备份技术由备份服务器处理备份任务，减轻数据库压力备份服务器使用Netvault工具，可在AWS上的客户端操作备份恢复由机械手+磁带驱动器+磁带槽位+磁带组成根据磁带的条码自动实现磁带的拆卸和装填磁带库可远程控制，可多驱动器并行工作和交叉工作| 6内部资料请勿外传Teradata基础知识和使用过程中应该注意的问题扩展知识：Teradata主机产品线55015502550企业入门级数据仓库或部门级的数据集市46节点140 TB5__企业级的数据仓库系统，应用于战略性和操作性的企业智能化的EDW/ADW 1024节点10 PB用途数据集市或开发测试机在极端大量数据环境中的分析扩展性(支持数据量)单节点6 TB1024节点50 PB| 7内部资料请勿外传Teradata基础知识和使用过程中应该注意的问题建行数据仓库生产设备的演变硬件- 18(+1)个TD 5500H节点- *****双核- 144GB内存- 100TB数据库空间软件- OS: Suse Linux 9 - DB: TD V2R6.2硬件- 6个TD 5450H节点- ***** - 24GB内存- 16TB数据库空间硬件- 8个NCR 5251节点- 32C@733MHZ - 32GB内存- 4TB数据库空间软件- OS: MP-RAS 4 - DB: TD V2R5 软件- OS: MP-RAS 4 - DB: TD V2R52008年设备更新2007年设备更新2006年DW上线| 8内部资料请勿外传Teradata基础知识和使用过程中应该注意的问题目录Teradata软硬件体系结构Teradata数据库原理及特点Teradata 数据保护机制Teradata系统访问配置及连接方式Teradata使用中的一些问题及案例分析| 9内部资料请勿外传Teradata基础知识和使用过程中应该注意的问题Teradata数据库底层结构VPROC虚处理软件并行控制软件系统软件Applications/ Utilities (TPA)主机直连Channel Drivers Gateway Software局域网硬件| 10内部资料请勿外传Teradata基础知识和使用过程中应该注意的问题Teradata数据库工作原理SQL请求结果返回基本读写过程解析器解析引擎PE将SQL请求拆分成各AMP的请求以便并行处理PE优化器解析器分解接收到的SQL交易请求，验证语法、权限等分发器优化器产生最优的查询方案信息传递层(MPL)分发所优化的方案到AMP数据通过表PI的HASH值均匀分布到各AMP管理的磁盘(写)AMPAMPAMPAMP信息传递层可汇总各AMP数据，将最终结果返回客户端(读)数据数据数据数据| 11内部资料请勿外传Teradata基础知识和使用过程中应该注意的问题PE( Parsing Engine )一种VPROC,用于解释SQL请求、接收输入记录、审查数据、发送信息到AMP每个节点2个PE,每个PE能并发操作120条会话，每个会话能处理多个请求当多个用户同时访问系统时，Teradata能够通过PE在各节点间自动平衡负载，不需要人工干预可以由工具(TDQM、TDWM)控制查询的执行过程| 12内部资料请勿外传Teradata基础知识和使用过程中应该注意的问题AMP( Access Module Processor )一种VPROC,拥有内存和CPU资源，与一个VDISK连接，管理数据库/表的部分数据每节点根据需求可划分多个AMP控制所有磁盘交互及部分数据库的操作，如读、写、转换、格式化等一个请求可以分发到所有AMP一起共同工作，每个AMP也可以同步工作于多个请求各个AMP并行处理，互不干扰，交易处理结果在信息传递层汇总后，直接返回给应用程序内部资料请勿外传| 13Teradata基础知识和使用过程中应该注意的问题Teradata数据库特点专为海量数据仓库等OLAP应用设计多节点的单一数据库系统跨多代设备线性扩展自动数据分配机制可实现多维并行内嵌分析决策功能采用SPOOL技术易于管理| 14内部资料请勿外传Teradata基础知识和使用过程中应该注意的问题专为数据仓库等OLAP系统设计OLAP数据库VS OLTP数据库OLAP 数据库(Teradata) OLTP数据库(Oracle)数据来源典型业务数据量响应速度用户数量本身不产生数据，来源于生产系统数据在系统中产生中的操作数据基于查询的分析系统基于交易的处理系统复杂查询，经常使用多表连结、全每次交易涉及的数据量小表扫描等，涉及的数据量庞大响应时间与具体查询有很大关系对响应时间要求非常高操作特性用户数量相对较小，其用户主要是用户数量非常庞大，主要是操业务人员与管理人员作人员由于业务问题的不固定，数据库的数据库的各种操作主要基于索各种操作不能完全基于索引进行引进行内部资料请勿外传| 15Teradata基础知识和使用过程中应该注意的问题多节点的单一数据库系统可运行于单个或多个节点多个节点组成一个整体的数据库系统，每个结点有单独的IP地址，都连入系统网络各结点之间自动进行负载平衡并提供结点互为备份的高可靠性客户端可以从不同渠道以不同方式连接，连接时可自动实现负载均衡客户端访问的不是某个具体结点，而是整个数据库数据库资源无法从物理上实现完全的分割| 16内部资料请勿外传Teradata基础知识和使用过程中应该注意的问题不同代设备的线性扩展设备型号5500H 30÷ AMP数量22 5555H 50÷30 42 5600H 80÷单节点TPerf性能每AMP性能1.41.61.9TPerf值是衡量Teradata设备性能的指标，以第一代型号设备5100性能为基准1,后续型号Tperf是与5100的性能比值AMP数量可以根据要求进行增减，但受到磁盘数、背板带宽、接口数量、CPU、内存等限制多代混存会产生资源浪费，一般最多4-5代共存| 17内部资料请勿外传Teradata基础知识和使用过程中应该注意的问题自动数据分配机制通过对PI的哈希运算将数据记录均匀分布到各AMP; 记录RowID由行哈希值和一个32位的UV组成；AMP根据数据记录的RowID确定物理存储位置；最新TD R13提供了Non-PI表解决了传统数据库的“数据重组”问题| 18内部资料请勿外传Teradata基础知识和使用过程中应该注意的问题Teradata的多维并行技术查询并行多个VPROC并行最终结果最终结果查询并行各AMP处理自己的数据步内并行每个VPROC中多进程求和求和多步并行SQL语句的并行任务分解JOIN JOINJOIN JOINjoin表C表C表D步内并行1. Select C 2. Select D 3. C join D表A表A多步并行| 19表B表B内部资料请勿外传Teradata基础知识和使用过程中应该注意的问题内嵌的数据分析功能提供多种OLAP函数累计和CSUM、移动平均MAVG、移动和MSUM、移动差分MDIFF、采样SAMPLE、限定*****等所有函数在Teradata内部以并行方式来工作可以自定义函数UDF可嵌入外部厂商的产品功能SAS、MicroStrategy等BI功能SilkRoute、SAP等企业管理功能| 20内部资料请勿外传Teradata基础知识和使用过程中应该注意的问题SPOOL技术SPOOL是未使用的且连续的数据库空间(类似虚拟内存),与Perm、Temp空间一起以AMP为单位分配，且使用不同Cylinder适合大数据量、并行处理的特点(与传统数据库在内存中处理相比)在工作量适中、无Fallback的系统中，SPOOL最少占总数据库空间的25%―30%好的调优策略可减少对SPOOL空间的占用每个用户的SPOOL的在建立时设置SPOOL的类型Volatile。
teradata automation使用手册# Teradata Automation 使用手册## 1. 引言Teradata Automation 是一个用于管理和优化 Teradata 数据库的工具，它可以帮助用户自动化日常任务，提高工作效率。
本使用手册将详细介绍 Teradata Automation 的功能和使用方法。
## 2. 安装与配置在开始使用 Teradata Automation 之前，首先需要进行安装和配置。
请参考官方文档或联系技术支持以获取详细的安装和配置指南。
## 3. 功能介绍### 3.1 自动化任务调度Teradata Automation 允许用户创建、编辑和删除自动化任务，并设置执行时间。
通过这种方式，可以确保关键任务在规定的时间内自动运行。
### 3.2 数据库监控Teradata Automation 提供实时数据库监控功能，用户可以查看数据库性能指标，如 CPU 利用率、内存使用情况等。
### 3.3 数据备份与恢复Teradata Automation 支持数据备份和恢复操作，用户可以根据需求设置备份计划，并在需要时恢复数据。
### 3.4 错误处理与报警当系统出现错误时，Teradata Automation 可以立即发送警报，并提供错误处理建议。
## 4. 使用教程### 4.1 创建自动化任务打开 Teradata Automation，点击“新建任务”，输入任务名称和描述，选择执行时间，然后保存。
### 4.2 监控数据库性能在主界面中，选择“监控”选项卡，可以看到当前数据库的各项性能指标。
### 4.3 设置数据备份计划在主界面中，选择“备份”选项卡，点击“新建备份计划”，输入计划名称和描述，选择备份频率和保留期限，然后保存。
### 4.4 处理错误与警报当系统出现错误时，Teradata Automation 将在主界面上显示警报信息。
点击警报，可以查看详细信息和处理建议。
一、Teradata数据库简介Teradata是一种用于大规模数据仓库和分析的关系型数据库管理系统。
它是世界上最大的并行处理数据库之一，被许多大型企业和组织用于数据存储和分析。
Teradata数据库以其高性能、可扩展性和并行处理能力而闻名，是大数据分析和数据驱动型决策的理想选择。
二、Teradata Like语句概述在Teradata数据库中，Like语句是用于在查询数据时进行模糊匹配的关键字。
它使得用户可以在匹配模式中使用通配符来查找满足特定条件的数据。
Like语句通常与SELECT语句一起使用，用于从表中检索符合特定模式的数据行。
三、Like语句的语法在Teradata数据库中，Like语句的基本语法如下所示：SELECT column1, column2, ...FROM table_nameWHERE column_name LIKE pattern;在这个语法中，column1, column2等表示需要检索的列，table_name表示需要检索的表，column_name表示需要进行匹配的列，而pattern则表示匹配模式。
在pattern中，通配符表示零个或多个字符，而_表示一个字符。
四、Like语句的应用实例1. 简单模糊匹配假设我们有一个名为employees的表，其中包含雇员的尊称信息。
我们可以使用Like语句来查找以字母“A”开头的员工尊称：SELECT *FROM employeesWHERE employee_name LIKE 'A';2. 复杂模糊匹配如果我们想要查找以字母“J”开头，且长度为5个字符的员工尊称，可以使用如下查询：SELECT *FROM employeesWHERE employee_name LIKE 'J____';3. 结合通配符我们还可以使用多个通配符结合来进行模糊匹配。
我们可以使用作为通配符，来查找包含字母“S”和“th”之间有0个或多个字符的员工尊称：SELECT *FROM employeesWHERE employee_name LIKE 'Sth';五、Like语句的性能和注意事项虽然Like语句在数据查询中非常灵活，但是它也可能导致性能问题，特别是在对大型表进行模糊匹配时。
Teradata SQL基础教程第一章关系数据库基础1.1关系数据库模型关系数据库理论最早是由Codd博士提出的，一个关系的数学描述其实就是一个二维表，这些二维表按照业务运行的规律组合起来，就是关系数据库模型。
这种模型可以简洁地表达出企业或机构的业务运作规律，抓住事物本质，因此非常实用。
每个二维表被称为一个实体(Entity)，它可以是人、地点或者某种事物等。
表中的每个列被称为属性(Attribute)或者字段(Field)，表中的每一行代表了该实体的一个特定实例，称为记录(Record)。
表1-1、1-2和1-3分别给出了一个雇员表、部门表和工作表的实例。
表1-1 雇员表(Employee Table)EMPLOYEE NUMBER MANAGEREMPLOYEENUMBERDEPARTMENT NUMBERJOBCODELASTNAMEFIRSTNAMEHIREDATEBIRTHDATESALARYAMOUNTPK FK FK FK1018 1017 501 512101RatzlaffLarry1978-07-151954-05-3154000.00 1022 1003 401 412102MachadoAlbert1979-03-011957-07-1432300.00 1014 1011 402 422101CraneRobert1978-01-151960-07-0424500.00 1003 801 401 411100TraderJames1976-07-311947-06-1937850.00 1007 1005 403 432101VillegasArnando1977-01-021937-01-3149700.00 1010 1003 401 412101RogersFrank1977-03-011935-04-2346000.00 表1-2 部门表(Department Table). 1 .department_number department_name budget_amount manager_employee_number PK FK308000.001011support402 software982300.001003support401 customer1025293800.00201 technicaloperations801100 president 400000.001017308000.00501 marketingsales1005403 education 932000.00表1-3 工作表(Job Table)job_code description hourly_billing_rate hourly_cost_rate PK421100 Manager - Software Support 0.00 0.00Rep 0.00 0.00512101 Sales511100 Manager - Marketing Sales 0.00 0.00Engineer 0.00 0.00312101 Software411100 Manager - Customer Support 0.00 0.00431100 Manager - Education 0.00 0.00413201 Dispatcher 0.00 0.00432101 Instructor 0.00 0.00Analyst 0.00 0.00422101 Software321100 Manager - Product Planning 0.00 0.00在一个关系数据库模型中，表和表之间是有关联的，这种关联常用所谓的E-R 图(Entity-Relationship Diagram)来表示。
