SSIS最全整合教材
- 格式:doc
- 大小:6.20 MB
- 文档页数:63
SQL SERVER 2005(32bit) IS 开发与维护
1.SSIS介绍
IS是生成高性能数据集成解决方案(ETL)的平台,此平台能提供了多项功能:
1.生成和调试包的图形工具和向导;
2.执行工作流函数(如 FTP 操作)、执行 SQL 语句或发送电子邮件的任务;
3.提取和加载数据的数据源和目标;
4.用于清理、聚合、合并和复制数据的转换;
5.管理IS的管理服务;
6.对IS对象模型编程的应用程序编程接口 (API)。
体系结构
IS运行时保存包布局,运行包,并为日志记录、断点、配置、连接和事务提供支持.
2.新建项目
点选菜单 文件->新建项目。在新建项目属性框中选择“Integration Services”
自定义项目名称、项目位置。其他设置保持默认,然后按【确定】。初始开发界面如下:
新建项目过程中,系统自动生成以下文件目录结构。
C:\SSSIS Project\ALM_Project\ ALM_Project.sln
ALM_Project\ ALM_Project.dtprojt
Package1.dtsx
ALM_Project.database
*.sln 解决方案文件 ,一个或多个项目文件的集合
*.dtprojt 项目文件,包含了项目的配置、数据源和包的信息
*.database包含BIDS打开Integration Services项目所需要的信息
解决方案管理器提供了整个项目的对象浏览。
数据源:包含可以由多个包引用的项目级数据源
数据源视图:它们基于数据源并可以由源、转换和目的地引用
SSIS包:存放SSIS包
杂项:杂物袋,存放除了以上文件之外的文件
3.配置项目
2.1 数据源、数据源视图配置
点击 数据源新建数据源,然后按向导逐步配置。
点击 数据源视图新建数据源视图,然后按向导逐步配置。
4.SSIS包设计
包设计既可通过导入\导出向导完成基本包的构建,也可通过SSIS设计器完成。包设计主要涉及控制流、数据流、事件处理、日志处理的构建。
3.1构建控制流。
3.1.1SSIS提供大量的控制流任务,构建控制流时需将相应的控制流控件拖入控制流操作界面。
3.1.2设置各控件的属性
Foreach循环容器
FTP任务:
3.2.1构建数据流
最典型的数据流具有一个源、带有一个输入和一个输出的转换以及一个目标。
3.2.1SSIS提供大量的数据流任务,构建数据流时需将相应的数据流控件拖入数据流操作界面。
3.2.2设置各控件的属性
Excel源
数据转换
数据目标
5.包的调试
5.1.1 SSIS可以让你设置两种不同的断点:一个在包、任务和存储器上,另一种就是在脚本对象里。在设断点时,我们要记住这些断点只能在控制流上的项目上进行设置,而不能在数据流任务上进行设置。
要在包上设置断点,你就要进入控制流页面,在包的面上单击右键,选择“编辑断点”。如果你想为任务或容器设置断点,就可以在你感兴趣的任务或容器上单击右键,再选择“编辑断点”。“编辑断点”会话如下
运行包的时候,“在每次循环迭代开始时断开”事件就停止。你就可以访问所有的本地变量、用户自定义变量以及暂停之后表示包的状况的视图
5.1.2 SSIS提供数据查看器解决数据流内部的故障问题
设置好后,执行包
我们可以查找有害数据,保证它们能够正常运行。为了让这些包再次运行,我可以点击"Play"按钮或点击分离"。如果我选择"Play",SSIS包就会继续运行。下次运行同样的任务时,例如在进行loop操作时,我可以给目前的数据获取另一个数据阅读器。
6.包的执行
MS提供多种执行包的方法:
1. 服务类型为IS的SSMS 即dtexecui工具;
2. dtexec命令行;
3. SSDS执行包程序;
6.1 在开始 – 运行 --输入dtexecui.exe
6.2 dtexec命令行
参见《SQL Server 2005 联机丛书》 dtexec 实用工具
6.3 SSDS执行包程序
方法一:解决方案-SSIS包右击 执行包
方法二:Ctrl + F5
7.事件处理
事件处理程序可以执行诸如下列任务:
当包或任务运行完成时清除临时数据存储。
在包运行前检索系统信息,以便评估资源可用性。
在引用表中的查找失败时刷新表中的数据。
当发生错误或警告时,或者当任务失败时,发送电子邮件。
如果事件没有事件处理程序,则将该事件提升到包中容器层次结构中的上一级容器。
在事件管理器页面选择事件级别,及事件类型。
设置完级别后,后续处理参见3.包设计
8.日志记录管理
SSIS包含可用来在包、容器和任务中执行日志记录的日志提供程序。通过日志记录可以捕获有关包的运行时信息,从而帮助您在每次运行包时对其进行审核和故障排除.
文本文件日志,将日志项以逗号分隔值格式写到文本文件。默认文件扩展名是 .log
SQL Server Profiler 日志,写入可用 SQL Server 事件探查器查看的.trc跟踪。
SQL Server 日志,将日志项写入 SQL Server 2005 数据库中的 sysdtslog90 表。
Windows 事件日志,将日志项写入本地计算机上 Windows 事件日志中的应用程序日志。
XML 文件日志,将日志文件写入 .XML 文件
从菜单选SSIS日志记录
执行完包后,查看日志
9.配置及部署包
可对开发完成的包进行配置,通过设置包级属性来实现安全性、从检查点重新启动包或将事务合并到包工作流中等功能。使用配置,不必对包进行修改即可更新属性。包运行时,将加载配置信息并更新属性值。
选择 SSIS 包配置,进入配置。此配置可以应用与多个包。
配置完成后,通过创建部署实用工具,然后生成 IS项目。在生成项目时,将自动包括项目中的所有包和包配置。若要部署其他文件(如项目的自述文件),请将这些文件放在 IS
项目的“杂项”文件夹中
选择项目或者解决方案-右击 属性部署实用工具。
注意:CreateDeploymentUtility必须被设置为True
设置完部署工具后,就可以生成部署文件了。
生成的部署文件如下:
完成部署文件生成后,需要将部署文件部署到文件系统或者SQL SERVER 数据库
双击 *.SSISDeploymentManifest 调用“包安装向导”
10.SS Managment Studio管理、监视包
使用SSMS通过Windows提供的IS服务实现对包的管理及监控。在管理IS包之前,
需现配置IS服务及启动IS服务。此服务的配置文件为%Program Files%\Microsoft SQL
Server\90\DTS\Binn\MsDtsSrvr.ini.xml。该默认配置文件指定以下内容:
服务停止时将向包发送停止命令。
在 SSMS 的资源管理器中为 IS 显示的根文件夹是 MSDB 和“文件系统”文件夹。
IS 服务所管理的文件系统中的包位于 %Program Files%\Microsoft SQL
Server\90\DTS\Packages 中
true
MSDB
.
File System
..\Packages
如修改MSDB,其格式为 “服务名.实例名”
如修改文件系统,直接设置文件目录。
启动服务后,运行界面如下:
如需性能监控,可通过 控制面板—>管理功能-性能添加计数器日志—>添加
SSIS Pipeline性能对象选择所有计数器 。详细的日志数据可以在SSIS Pipeline计数器属性对应的目录内查看。
运行前