SSIS最全整合教材

  • 格式:doc
  • 大小:6.20 MB
  • 文档页数:63

SQL SERVER 2005(32bit) IS 开发与维护

1.SSIS介绍

IS是生成高性能数据集成解决方案(ETL)的平台,此平台能提供了多项功能:

1.生成和调试包的图形工具和向导;

2.执行工作流函数(如 FTP 操作)、执行 SQL 语句或发送电子邮件的任务;

3.提取和加载数据的数据源和目标;

4.用于清理、聚合、合并和复制数据的转换;

5.管理IS的管理服务;

6.对IS对象模型编程的应用程序编程接口 (API)。

体系结构

IS运行时保存包布局,运行包,并为日志记录、断点、配置、连接和事务提供支持.

2.新建项目

点选菜单 文件->新建项目。在新建项目属性框中选择“Integration Services”

自定义项目名称、项目位置。其他设置保持默认,然后按【确定】。初始开发界面如下:

新建项目过程中,系统自动生成以下文件目录结构。

C:\SSSIS Project\ALM_Project\ ALM_Project.sln

ALM_Project\ ALM_Project.dtprojt

Package1.dtsx

ALM_Project.database

*.sln 解决方案文件 ,一个或多个项目文件的集合

*.dtprojt 项目文件,包含了项目的配置、数据源和包的信息

*.database包含BIDS打开Integration Services项目所需要的信息

解决方案管理器提供了整个项目的对象浏览。

数据源:包含可以由多个包引用的项目级数据源

数据源视图:它们基于数据源并可以由源、转换和目的地引用

SSIS包:存放SSIS包

杂项:杂物袋,存放除了以上文件之外的文件

3.配置项目

2.1 数据源、数据源视图配置

点击 数据源新建数据源,然后按向导逐步配置。

点击 数据源视图新建数据源视图,然后按向导逐步配置。

4.SSIS包设计

包设计既可通过导入\导出向导完成基本包的构建,也可通过SSIS设计器完成。包设计主要涉及控制流、数据流、事件处理、日志处理的构建。

3.1构建控制流。

3.1.1SSIS提供大量的控制流任务,构建控制流时需将相应的控制流控件拖入控制流操作界面。

3.1.2设置各控件的属性

Foreach循环容器

FTP任务:

3.2.1构建数据流

最典型的数据流具有一个源、带有一个输入和一个输出的转换以及一个目标。

3.2.1SSIS提供大量的数据流任务,构建数据流时需将相应的数据流控件拖入数据流操作界面。

3.2.2设置各控件的属性

Excel源

数据转换

数据目标

5.包的调试

5.1.1 SSIS可以让你设置两种不同的断点:一个在包、任务和存储器上,另一种就是在脚本对象里。在设断点时,我们要记住这些断点只能在控制流上的项目上进行设置,而不能在数据流任务上进行设置。

要在包上设置断点,你就要进入控制流页面,在包的面上单击右键,选择“编辑断点”。如果你想为任务或容器设置断点,就可以在你感兴趣的任务或容器上单击右键,再选择“编辑断点”。“编辑断点”会话如下

运行包的时候,“在每次循环迭代开始时断开”事件就停止。你就可以访问所有的本地变量、用户自定义变量以及暂停之后表示包的状况的视图

5.1.2 SSIS提供数据查看器解决数据流内部的故障问题

设置好后,执行包

我们可以查找有害数据,保证它们能够正常运行。为了让这些包再次运行,我可以点击"Play"按钮或点击分离"。如果我选择"Play",SSIS包就会继续运行。下次运行同样的任务时,例如在进行loop操作时,我可以给目前的数据获取另一个数据阅读器。

6.包的执行

MS提供多种执行包的方法:

1. 服务类型为IS的SSMS 即dtexecui工具;

2. dtexec命令行;

3. SSDS执行包程序;

6.1 在开始 – 运行 --输入dtexecui.exe

6.2 dtexec命令行

参见《SQL Server 2005 联机丛书》 dtexec 实用工具

6.3 SSDS执行包程序

方法一:解决方案-SSIS包右击 执行包

方法二:Ctrl + F5

7.事件处理

事件处理程序可以执行诸如下列任务:

当包或任务运行完成时清除临时数据存储。

在包运行前检索系统信息,以便评估资源可用性。

在引用表中的查找失败时刷新表中的数据。

当发生错误或警告时,或者当任务失败时,发送电子邮件。

如果事件没有事件处理程序,则将该事件提升到包中容器层次结构中的上一级容器。

在事件管理器页面选择事件级别,及事件类型。

设置完级别后,后续处理参见3.包设计

8.日志记录管理

SSIS包含可用来在包、容器和任务中执行日志记录的日志提供程序。通过日志记录可以捕获有关包的运行时信息,从而帮助您在每次运行包时对其进行审核和故障排除.

文本文件日志,将日志项以逗号分隔值格式写到文本文件。默认文件扩展名是 .log

SQL Server Profiler 日志,写入可用 SQL Server 事件探查器查看的.trc跟踪。

SQL Server 日志,将日志项写入 SQL Server 2005 数据库中的 sysdtslog90 表。

Windows 事件日志,将日志项写入本地计算机上 Windows 事件日志中的应用程序日志。

XML 文件日志,将日志文件写入 .XML 文件

从菜单选SSIS日志记录

执行完包后,查看日志

9.配置及部署包

可对开发完成的包进行配置,通过设置包级属性来实现安全性、从检查点重新启动包或将事务合并到包工作流中等功能。使用配置,不必对包进行修改即可更新属性。包运行时,将加载配置信息并更新属性值。

选择 SSIS 包配置,进入配置。此配置可以应用与多个包。

配置完成后,通过创建部署实用工具,然后生成 IS项目。在生成项目时,将自动包括项目中的所有包和包配置。若要部署其他文件(如项目的自述文件),请将这些文件放在 IS

项目的“杂项”文件夹中

选择项目或者解决方案-右击 属性部署实用工具。

注意:CreateDeploymentUtility必须被设置为True

设置完部署工具后,就可以生成部署文件了。

生成的部署文件如下:

完成部署文件生成后,需要将部署文件部署到文件系统或者SQL SERVER 数据库

双击 *.SSISDeploymentManifest 调用“包安装向导”

10.SS Managment Studio管理、监视包

使用SSMS通过Windows提供的IS服务实现对包的管理及监控。在管理IS包之前,

需现配置IS服务及启动IS服务。此服务的配置文件为%Program Files%\Microsoft SQL

Server\90\DTS\Binn\MsDtsSrvr.ini.xml。该默认配置文件指定以下内容:

服务停止时将向包发送停止命令。

在 SSMS 的资源管理器中为 IS 显示的根文件夹是 MSDB 和“文件系统”文件夹。

IS 服务所管理的文件系统中的包位于 %Program Files%\Microsoft SQL

Server\90\DTS\Packages 中

true

MSDB

.

File System

..\Packages

如修改MSDB,其格式为 “服务名.实例名”

如修改文件系统,直接设置文件目录。

启动服务后,运行界面如下:

如需性能监控,可通过 控制面板—>管理功能-性能添加计数器日志—>添加

SSIS Pipeline性能对象选择所有计数器 。详细的日志数据可以在SSIS Pipeline计数器属性对应的目录内查看。

运行前