SQL Server 2005商业智能解决方案系列课程
- 格式:pdf
- 大小:1.27 MB
- 文档页数:36
SQL Server2005入门教程SQL SQL Server Server 是一个关系数据库管理系统。
它最初是由Microsoft Microsoft Sybase Sybase 和Ashton-Tate三家公司共同开发的,于1988 年推出了第一个OS/2 版本。
在Windows Windows NT NT 推出后,Microsoft 与Sybase 在SQL SQL Server Server 的开发上就分道扬镳了,Microsoft 将SQL SQL Server Server 移植到Windows NT 系统上,系统上,专注于开发推广专注于开发推广SQL Server 的Windows NT 版本。
Sybase 则较专注于SQL Server 在UNIX 操作系统上的应SQL Server 安装界面用。
安装界面用。
SQL Server 是新一代的数据库平台,集成了更多、更优秀的功能特性。
本章主要对SQL Server 概要介绍,主要介绍如何创建数据库、如何管理权限、如何执行备份与恢复。
概要介绍,主要介绍如何创建数据库、如何管理权限、如何执行备份与恢复。
1 SQL Server 简介SQL Server 是微软推出的新一代数据库管理系统,支持企业应用的开发与数据存储。
本节对SQL Server 进行简单介绍。
主要内容包括:进行简单介绍。
主要内容包括:l概述概述l SQL Server 工具简介工具简介 1.1 概述当今组织机构面临着多项前所未有的数据技术挑战:在整个企业范围内实现数据与系统的高度分布;为内部员工、目标客户与合作伙伴提供针对相关数据的持续访问调用能力;目标客户与合作伙伴提供针对相关数据的持续访问调用能力;以以切实有效的信息资料武装信息工作者,切实有效的信息资料武装信息工作者,促进科学决策;促进科学决策;在不必牺牲应用程序可用性、在不必牺牲应用程序可用性、安全性安全性或可靠性的前提下控制成本费用水平。
SQL Server 2005数据挖掘与商业智能完全解决方案·1.1 企业经营管理活动对商业智能的需求·1.2 商业智能的技术构成·1.3 部署商业智能·2.2 设计和使用ETL·2.3 创建OLAP数据立方·2.4 创建和使用报表本章导读:“工欲善其事,必先利其器”。
信息技术在商业领域应用的卓越成效在经过近20年的信息化建设已经初步显现。
企业通过MIS(管理信息系统)快速收集和处理商业信息,通过ERP(企业资源计划系统)准确监控信息流,从而对企业经营的各个方面进行管理。
这些系统除了本身的应用外,还积累了大量的数据,如来自业务系统的订单、库存、交易账目、客户和供应商资料,来自企业所处行业和竞争对手的数据,以及来自企业所处的其他外部环境中的各种数据,这是一笔宝贵的财富。
信息系统应该具备把这些庞大的数据转化为知识,进而辅助企业经营决策,甚至自动生成商业决策的能力,这就是商业智能。
信息系统正在经历着“MIS →ERP→BI”的演变过程。
本章将对于商业智能涉及到的相关技术,如数据仓库(DW)、数据挖掘(DM)等进行概要地分析,同时从理论上明确商业智能在企业经营决策过程中的价值发挥原理。
本章先简单地说明企业经营管理活动对商业智能的需求,从而明确实施BI的原因,解决W hy的问题;再阐述商业智能的技术构成,大概了解如何实现商业智能,解决What和How 的问题;最后列举一些实际部署的部署商业智能项目结果,解决What Effect的问题。
1.1 企业经营管理活动对商业智能的需求信息系统在企业管理中的应用不仅随着管理理念的更新而发展,还在很大程度上依赖于企业商业信息的存储量。
随着社会节奏的加快,企业信息积累越来越多,而商业知识的需求却得不到满足,于是就提出了商业智能的概念。
这一节将对商业智能系统应用的深层原因进行探讨。
1.1.1 企业经营活动面临的挑战企业经营活动包括采购、生产、销售、商贸磋商、价格比较、经营决策、营销策略、推销促销、公关宣传、售前/售后服务、客户关系和咨询服务等。
sql server 2005课程设计一、教学目标本课程旨在让学生掌握SQL Server 2005的基本原理和操作技能,通过理论学习与实践操作,培养学生的数据库设计与管理能力。
具体目标如下:1.知识目标:•理解数据库的基本概念、原理和SQL Server 2005的体系结构。
•掌握数据库的创建、管理和维护方法。
•熟悉SQL语言,包括数据定义、数据操纵、数据查询和数据控制。
•了解数据库的安全性和完整性控制。
2.技能目标:•能够使用SQL Server 2005进行数据库的设计、创建和维护。
•能够使用SQL语言进行数据的插入、更新、删除和查询操作。
•能够设置数据库的用户权限和角色。
•能够使用SQL Server Management Studio进行数据库管理。
3.情感态度价值观目标:•培养学生对数据库技术的兴趣,提高学生的问题解决能力。
•培养学生团队合作精神,提高学生的沟通与协作能力。
二、教学内容本课程的教学内容主要包括以下几个部分:1.数据库基础:介绍数据库的基本概念、类型和特点,以及SQL Server2005的体系结构。
2.数据库设计:讲解数据库设计的原则和方法,以及如何使用SQLServer 2005进行数据库的创建和管理。
3.SQL语言:深入学习SQL语言的基本语法和操作,包括数据定义、数据操纵、数据查询和数据控制。
4.数据库安全与维护:介绍数据库的安全性、完整性控制,以及数据库的备份、恢复和性能优化。
5.数据库应用:通过实际案例,讲解如何使用SQL Server 2005开发数据库应用系统。
三、教学方法为了提高教学效果,本课程将采用多种教学方法相结合的方式:1.讲授法:用于讲解基本概念、原理和方法。
2.案例分析法:通过分析实际案例,让学生更好地理解数据库设计和应用。
3.实验法:安排实验室实践,让学生动手操作,巩固所学知识。
4.讨论法:学生分组讨论,培养学生的团队合作和沟通能力。
四、教学资源为了支持教学,我们将准备以下教学资源:1.教材:《SQL Server 2005实用教程》2.参考书:《SQL Server 2005高级编程》3.多媒体资料:教学PPT、视频教程等。
SQL Server 2005终于在2005年底震撼推出,面对这款微软有史以来最强大的数据库平台,您是否想急于了解她在那些方面有了长足的进步,那些新的特性又正是您企业所期待的关键功能?通过这个课程系列,我们将随您一起走近SQL Server 2005,了解她在可管理性、可用性、安全性、可伸缩性、集成性以及商业智能方面的强大功能和诸多特性,为您熟悉SQL Server 2005,并在企业中构建基于SQL Server 2005的商业解决方案提供实用的参考。
本次课程将会是一场规模宏大的盛宴,历时半年通过3大分系列的46次课程,从“技术概览”、“基础应用”、“高级应用”三个方面逐级递进,带您领略SQL Server 2005的无上技术美味。
下面是课程美食地图,助您了解此系列的课程分布。
点击选择每个模块,您将了解各个分系列课程的详细内容。
从2006年3月30日开始,至2006年4月28日,我们将为您送上SQL Server 2005盛宴系列的第一个分系列课程“数据库管理技术概览”,并将在今后的每月为您奉上1-2个模块,让您能够循序渐进的深入了解SQL Server 2005。
更多精彩课程,期待您的品尝!。
SQL Server 2005商业智能解决方案系列课程高可用数据仓库实践(一)——大型数据仓库实践 梁谋讲师介绍• 梁谋: 谋– mliang@ g@ g• 北京迈思奇科技有限公司目的利用一个真实的项目案例,展望在数据 利 个真实 案 在数 仓库项目的发展应用趋势 探讨我们应该 仓库项目的发展应用趋势。
探讨我们应该 利用怎样的架构模型,来应对蓬勃发展的 数据仓库应用。
内容提纲数据仓库项目概述 • 总体趋势 • 更为潜在的需求 • 应对的策略 • 解决方案性能优化 项目介绍 • 项目背景 • 总体要求 • 总体架构和源数据 ETL架构设计 • Staging • Service broker • Control Server 下进行的负载均 衡 OLAP架构 • Partitions • 分层次的Cube • 数据更新机制 • 分离Processing 和reporting Report特点 • 报表的新趋势 • Excel pivot table • Office的方便集成:PPT • Excel Service的广泛应用 系统扩展性 • ETL的扩展性 • OLAP的扩展性 • Reporting 的扩展性数据仓库的总体趋势• • • • 规模越来越大 模越来越大 允许的数据延时越来越短 访问的用户数不断攀升 对系统的可靠性提出了更高要求– 减少了系统维护的时间 – 更高的响应时间更为潜在的需求• 持续的性能扩展 性– 今天只有10 0个用户,明天可能就有1000 000个 – 数据量的快速膨胀• 数据源快速增长 • 业务的快速增长带来的数据量的全面提升应对的策略• 充分利用解决方案提供的性能优化 充 利 案提供 性 • Best practice 在系统的各个环节正确运用 • 良好的系统结构设计解决方案的性能优化• SSIS– In-memory Pipeline architecture – Logging and error handling• SSAS– 对AWE的应用和x64的应用 – 避免 ‘default’ default 并行处理的方式指定Max CPU 及其倍数进行处理 – Natural Hierarchy – Warm up 机制,将系统进行预热Best Practice• SSIS– 避免将数据下载到客户端进行运算 – 避免使用SSIS中的Transcation, T ti 或设置Isolation I l ti Level 为 Read Committed in the task properties Default 值为 Serializable• SSAS– 避免在单一 避免在单 Cube中使用大量的Measure Group p – 合理的分区和合并 Consider partitioning fact tables that are 50-100GB or larger – 避免海量Dimension – 避免使用Parent/Child Dimension系统结构• 分布式的应用 式– 分布式的ETL• ETL是负载最重的工作 • 将相同的工作分布到多台服务器上运行 • 建立用于负载均衡的控制服务器– 分布式的SSAS• 分离processing 和report访问– 分布式的Reporting R ti S Service i• 多个AS + RS的组合内容提纲数据仓库项目概述 • 总体趋势 • 更为潜在的需求 • 应对的策略 • 解决方案性能优化 项目介绍 • 项目背景 • 总体要求 • 总体架构和源数据 ETL架构设计 • Staging • Service broker • Control Server 下进行的负载均 衡 OLAP架构 • Partitions • 分层次的Cube • 数据更新机制 • 分离Processing 和reporting Report特点 • 报表的新趋势 • Excel pivot table • Office的方便集成:PPT • Excel Service的广泛应用 系统扩展性 • ETL的扩展性 • OLAP的扩展性 • Reporting 的扩展性项目背景• T To eliminate li i t performance f bottleneck b ttl k has h become one of the top priorities in Online Services world world. To identify those bottlenecks, one powerful measurement is PLT ( (Page g Load Time) ) to test, , record and analyze online service product performances. The solution to resolve the above problems is to b build ild a data warehouse areho se to address data hosting, querying, mining and reporting needs PLT has been shipped to address all needs. of these problems.3) SubscriberMailed Reports 2) Impact Users Warned Perf ImpactsMail Server Browed Data, Customized Rpts Adhoc Rpts4) Power Users Excel PerformancePoint Proclarity SQL & MDXHeavy-weight Canned Reports5) Super Users Not supported in this phaseReportsLight-weight Canned Reports 1) Typical UsersPLT DW SystemDW data Users Owned Servers数 据 关 系 图Production Admin & Supports DB Snapshot Scheduled XLM Files RTA Files ………... Cont. PushMonitoring /Alerts Monitoring SystemsTape Backup System Not Considered0) AdminPLT Manifest DB PLT Gateway WANTest Clients Located worldwide系统要求• Availability: 99.9% 99 9% during working windows (23 hours a day). Each day may have one hour of maintenance window during non-peak hours to conduct routine maintenances • Data D t L Latency: t 99% within ithi two t hour h for f daily d il t trending di reports. 99% with one day latency for monthly trending reports. • Query Q Performances: P f– Typical (light-weight) canned reports: seconds with 99.0% – seconds with 99.9% – Heavy-weight canned reports seconds with 99 99.0% 0% – seconds with 99.9% <3 <10 10 <10 < 30系 统 逻 辑 架 构源数据• • • • 文本格式 以zip i 格式压缩,方便传输 格式压缩 方便传输 30个column全面涵盖的抽样 数据产生的频率高源数据• "HubTimeStamp" HubTimeStamp "CCTimeStamp" CCTimeStamp "UserId" UserId "SoftwareVersion" SoftwareVersion "UserIp" UserIp "UserAgent" UserAgent "UserAccessSpeed""HostIpAddr" UserAccessSpeed HostIpAddr "Protocol" "Domain" "Target" "HTTPRequest" "ProxyFlag" "SessionId" "PageSequence" "RootHTTPResponse" "HTTPResponses" "CompletionState" "AbandonReason" "PageAttribute" "RefereProtocol" "RefererDomain" "RefererTarget" "NextProtocol" "NextDomain" "NextTarget" "NextDelay" "RootDNSLookupTime" "RootCnxDelay" "PageLoadTime" "SentByteCount" "ReceivedByteCount" "TotalTransferTime" "ApplicationByteCount" "ApplicationTransferTime" "ImageByteCount" "ImagesTransferTime" "TextByteCount" "TextTransferTime" "VideoByteCount" "VideoTransferTime" "smCXScreen" "smCYScreen" "HostIPAddress_0" "HostName_0" "numDNSAttempts_0" "NumDNSLookups_0" "numTcpAttempts_0" "NumTcpConnections_0" "NumRequestSent_0" "NumResponses_0""NumResponsesWithContent_0" "HTTPResponses_0" "NumContentBytesRecd NumContentBytesRecd_0 0" "TotalDNSLookupTime TotalDNSLookupTime_0 0" "TotalConnectTime TotalConnectTime_0 0" "TotalEstimatedNetworkRTT TotalEstimatedNetworkRTT_0 0" "TotalFirstResponseDelay_0" "TotalFirstRespWCntntDelay_0" "TotalLastRespWCntntDelay_0" "HostIPAddress_1" "HostName_1" "numDNSAttempts_1" "NumDNSLookups_1" "numTcpAttempts_1" "NumTcpConnections_1" "NumRequestSent_1" "NumResponses_1""NumResponsesWithContent_1" "HTTPResponses_1" "NumContentBytesRecd_1" "TotalDNSLookupTime_1" "TotalConnectTime_1" "TotalEstimatedNetworkRTT_1" "TotalFirstResponseDelay_1" "TotalFirstRespWCntntDelay_1" "TotalLastRespWCntntDelay_1" "HostIPAddress_2" "HostName_2" "numDNSAttempts_2" "NumDNSLookups_2" "numTcpAttempts_2" "NumTcpConnections_2" "NumRequestSent_2" "NumResponses_2""NumResponsesWithContent_2" "HTTPResponses_2" "NumContentBytesRecd_2" "TotalDNSLookupTime_2" "TotalConnectTime_2" "TotalEstimatedNetworkRTT_2" "TotalFirstResponseDelay 2" "TotalFirstResponseDelay_2" "TotalFirstRespWCntntDelay 2" "TotalFirstRespWCntntDelay_2" "TotalLastRespWCntntDelay 2" "TotalLastRespWCntntDelay_2" "HostIPAddress 3" "HostName_3" "HostIPAddress_3" "HostName 3" "numDNSAttempts_3" "NumDNSLookups_3" "numTcpAttempts_3" "NumTcpConnections_3" "NumRequestSent_3" "NumResponses_3""NumResponsesWithContent_3" "HTTPResponses_3" "NumContentBytesRecd_3" "TotalDNSLookupTime_3" "TotalConnectTime_3" "TotalEstimatedNetworkRTT_3" "TotalFirstResponseDelay_3" "TotalFirstRespWCntntDelay_3" "TotalLastRespWCntntDelay_3" "HostIPAddress_4" "HostName_4" "numDNSAttempts_4" "NumDNSLookups_4" "numTcpAttempts_4" "NumTcpConnections_4" "NumRequestSent_4" "NumResponses_4""NumResponsesWithContent_4" "HTTPResponses_4" "NumContentBytesRecd_4" "TotalDNSLookupTime_4" "TotalConnectTime_4" "TotalEstimatedNetworkRTT_4" "TotalFirstResponseDelay_4" "TotalFirstRespWCntntDelay_4" "TotalLastRespWCntntDelay_4" "HostIPAddress_5" "HostName_5" " "numDNSAttempts_5" DNSAtt t 5" "N DNSL k "NumDNSLookups_5" 5" " "numTcpAttempts_5" T Att t 5" "N T C "NumTcpConnections_5" ti 5" "NumRequestSent_5" "NumResponses_5""NumResponsesWithContent_5" "HTTPResponses_5" "NumContentBytesRecd_5" "TotalDNSLookupTime_5" "TotalConnectTime_5" "TotalEstimatedNetworkRTT_5" "TotalFirstResponseDelay_5" "TotalFirstRespWCntntDelay_5" "TotalLastRespWCntntDelay_5" "HostIPAddress_6" "HostName_6" "numDNSAttempts_6" "NumDNSLookups_6" "numTcpAttempts_6" "NumTcpConnections_6" "NumRequestSent_6" "NumResponses_6""NumResponsesWithContent_6" "HTTPResponses_6" "NumContentBytesRecd_6" "TotalDNSLookupTime_6" "TotalConnectTime_6" "TotalEstimatedNetworkRTT_6" "TotalFirstResponseDelay_6" "TotalFirstRespWCntntDelay_6" "TotalLastRespWCntntDelay_6" "HostIPAddress_7" "HostName_7" "numDNSAttempts p _7" "NumDNSLookups p _7" "numTcpAttempts p p _7" "NumTcpConnections p _7" "NumRequestSent_7" "NumResponses_7""NumResponsesWithContent_7" "HTTPResponses_7" "NumContentBytesRecd_7" "TotalDNSLookupTime_7" "TotalConnectTime_7" "TotalEstimatedNetworkRTT_7" "TotalFirstResponseDelay_7" "TotalFirstRespWCntntDelay_7" "TotalLastRespWCntntDelay_7" "HostIPAddress_8" "HostName_8" "numDNSAttempts_8" "NumDNSLookups_8" "numTcpAttempts_8" "NumTcpConnections_8" "NumRequestSent_8" "NumResponses_8""NumResponsesWithContent_8" "HTTPResponses_8" "NumContentBytesRecd_8" "TotalDNSLookupTime_8" "TotalConnectTime_8" "TotalEstimatedNetworkRTT_8" "TotalFirstResponseDelay_8" "TotalFirstRespWCntntDelay_8" "TotalLastRespWCntntDelay_8" "HostIPAddress_9" "HostName_9" "numDNSAttempts_9" "NumDNSLookups_9" "numTcpAttempts_9" "NumTcpConnections_9" "NumRequestSent NumRequestSent_9 9" "NumResponses NumResponses_9 9""NumResponsesWithContent NumResponsesWithContent_9 9" "HTTPResponses HTTPResponses_9 9" "NumContentBytesRecd_9" "TotalDNSLookupTime_9" "TotalConnectTime_9" "TotalEstimatedNetworkRTT_9" "TotalFirstResponseDelay_9" "TotalFirstRespWCntntDelay_9" "TotalLastRespWCntntDelay_9" "ScratchId" "ConnectedState" "GeoLocation" "NumTextXmlBytes" "TextXmlTransferTime" "NumTextHtmlBytes" "NumBHOObjects" "BHOPageLoadTime" "NetworkPageLoadTime" "DNSResolvingHost" "MSNQueryString" "NextMSNQueryString" "RefererMSNQueryString"内容提纲数据仓库项目概述 • 总体趋势 • 更为潜在的需求 • 应对的策略 • 解决方案性能优化 项目介绍 • 项目背景 • 总体要求 • 总体架构和源数据 ETL架构设计 • Staging • Service broker • Control Server 下进行的负载均 衡 OLAP架构 • Partitions • 分层次的Cube • 数据更新机制 • 分离Processing 和reporting Report特点 • 报表的新趋势 • Excel pivot table • Office的方便集成:PPT • Excel Service的广泛应用 系统扩展性 • ETL的扩展性 • OLAP的扩展性 • Reporting 的扩展性ETL 架构• 多个 个Staging • Service broker进行通讯 • Control Server 下进行的负载均衡Staging ETL• 为什么要分 什 Staging– ETL过程压力最重• 怎样划分ETL staging– 根据ETL流程的压力 – 找到瓶颈将它切开Staging ETL• Search– 找到更新的文件• Copy– 复制更新的文件准备解压• Process(un ( zip) p)– 解压缩• Transfer– 选择适用column信息进行加载Staging ETLStaging ETL• Staging 可以是逻辑的也可以是物理的 辑 物 • 利用配置的方式对Staging Server进行加减 • 每完成一个Staging 向Control Server发送 完成讯息 • Control Server 控制任务的分配Service Broker• 利 利用Service Broker 进行程序流程性质的通 序 性 知– 高可靠性保证消息的送达 – 高集成性保证ETL之间的流畅• 保证程序运行的完整性 • 保证流程的实效性Service Broker• S Send d • Control Server发送执行各个Staging的请求,然后 等待Staging Server的执行结果 • Sample:– CREATE SERVICE [SearchFilesFactory] [ y] AUTHORIZATION [dbo] ON QUEUE [dbo].[SearchFilesFactoryQueue] ([SearchFiles]) – CREATE QUEUE [dbo] [dbo].[SearchFilesFactoryQueue] [SearchFilesFactoryQueue] WITH STATUS = ON , RETENTION = OFF , ACTIVATION ( STATUS = ON , PROCEDURE NAME = [dbo] PROCEDURE_NAME [dbo].[SearchFilesFactory] [SearchFilesFactory] , MAX_QUEUE_READERS = 5 , EXECUTE AS N'dbo' ) ON [PRIMARY]Service Broker• Receive • Staging Server接受到请求后尝试执行,执行成功后返 回成功执行的相应信息,如果失败返回执行错误信息 回成功执行的相应信息,如果失败返回执行错误信息。