使用sqoop工具进行数据表增量导入
一简介
Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
二特点
Sqoop中一大亮点就是可以通过hadoop的mapreduce把数据从关系型数据库中导入数据到HDFS。
三Sqoop 命令
Sqoop大约有13种命令,和几种通用的参数(都支持这13种命令)，这里先列出这13种命令。接着列出Sqoop的各种通用参数,然后针对以上13个命令列出他们自己的参数。Sqoop通用参数又分Common arguments,Incremental import arguments,Output line formatting arguments,Input parsing arguments,Hive arguments,HBase arguments,Generic Hadoop command-line arguments,下面一一说明:
https://www.doczj.com/doc/0c574423.html,mon arguments
通用参数,主要是针对关系型数据库链接的一些参数
四 sqoop命令举例
1）列出mysql数据库中的所有数据库
sqoop list-databases –connect jdbc:mysql://localhost:3306/ –username root –password 123456
2)连接mysql并列出test数据库中的表
sqoop list-tables –connect jdbc:mysql://localhost:3306/test –username root –password 123456
命令中的test为mysql数据库中的test数据库名称username password分别为mysql数据库的用户密码
3)将关系型数据的表结构复制到hive中,只是复制表的结构，表中的内容没有复制过去。
sqoop create-hive-table –connect jdbc:mysql://localhost:3306/test
–table sqoop_test –username root –password 123456 –hive-table
test
其中–table sqoop_test为mysql中的数据库test中的表–hive-table
test 为hive中新建的表名称
4)从关系数据库导入文件到hive中
sqoop import –connect jdbc:mysql://localhost:3306/zxtest –username
root –password 123456 –table sqoop_test –hive-import –hive-table
s_test -m 1
5)将hive中的表数据导入到mysql中,在进行导入之前，mysql 中的表
hive_test必须已经提起创建好了。
sqoop export –connect jdbc:mysql://localhost:3306/zxtest –username
root –password root –table hive_test –export-dir
/user/hive/warehouse/new_test_partition/dt=2012-03-05
6）从数据库导出表的数据到HDFS上文件
./sqoop import –connect
jdbc:mysql://10.28.168.109:3306/compression –username=hadoop
–password=123456 –table HADOOP_USER_INFO -m 1 –target-dir
/user/test
7）从数据库增量导入表数据到hdfs中
./sqoop import –connect jdbc:mysql://10.28.168.109:3306/compression
–username=hadoop –password=123456 –table HADOOP_USER_INFO -m 1
–target-dir /user/test –check-column id –incremental append
–last-value 3
五Sqoop原理（以import为例）
Sqoop在import时，需要制定split-by参数。Sqoop根据不同的split-by参数值来进行切分,然后将切分出来的区域分配到不同map中。每个map中再处理数据库中获取的一行一行的值，写入到HDFS中。同时split-by根据不同的参数类型有不同的切分方法，如比较简单的int型，Sqoop会取最大和最小split-by字段值，然后根据传入的num-mappers来确定划分几个区域。比如select max(split_by),min(split-by) from得到的max(split-by)和min(split-by)分别为1000和1，而num-mappers为2的话，则会分成两个区域(1,500)和(501-100),同时也会分成2个sql给2个map去进行导入操作，分别为select XXX from table where split-by>=1 and split-by<500和select XXX from table where split-by>=501 and
split-by<=1000。最后每个map各自获取各自SQL中的数据进行导入工作。
六mapreduce job所需要的各种参数在Sqoop中的实现
1) InputFormatClass
com.cloudera.sqoop.mapreduce.db.DataDrivenDBInputFormat
2) OutputFormatClass
1)TextFile
com.cloudera.sqoop.mapreduce.RawKeyTextOutputFormat
2)SequenceFile
org.apache.hadoop.mapreduce.lib.output.SequenceFileOutputFormat
3)AvroDataFile
com.cloudera.sqoop.mapreduce.AvroOutputFormat
3)Mapper
1)TextFile
com.cloudera.sqoop.mapreduce.TextImportMapper
2)SequenceFile
com.cloudera.sqoop.mapreduce.SequenceFileImportMapper
3)AvroDataFile
com.cloudera.sqoop.mapreduce.AvroImportMapper
4)taskNumbers
1)mapred.map.tasks(对应num-mappers参数)
2)job.setNumReduceTasks(0);
这里以命令行:import –connect jdbc:mysql://localhost/test –username root –password 123456 –query “select sqoop_1.id as foo_id, sqoop_2.id as bar_id from
sqoop_1 ,sqoop_2 WHERE $CONDITIONS” –target-dir /user/sqoop/test -split-by sqoop_1.id –hadoop-home=/home/hdfs/hadoop-0.20.2-CDH3B3 –num-mappers 2 注:红色部分参数，后接根据命令衍生的参数值
1）设置Input
DataDrivenImportJob.configureInputFormat(Job job, String tableName,String tableClassName, String splitByCol)
a)DBConfiguration.configureDB(Configuration conf, String driverClass,
String dbUrl, String userName, String passwd, Integer fetchSize)
1).mapreduce.jdbc.driver.class com.mysql.jdbc.Driver
2).mapreduce.jdbc.url jdbc:mysql://localhost/test
3)https://www.doczj.com/doc/0c574423.html,ername root
4).mapreduce.jdbc.password 123456
5).mapreduce.jdbc.fetchsize -2147483648
b)DataDrivenDBInputFormat.setInput(Job job,Class inputClass, String inputQuery, String inputBoundingQuery)
1)job.setInputFormatClass(DBInputFormat.class);
2)mapred.jdbc.input.bounding.query SELECT MIN(sqoop_1.id), MAX(sqoop_2.id) FROM (select sqoop_1.id as foo_id, sqoop_2.id as bar_id from sqoop_1 ,sqoop_2 WHERE (1 = 1) ) AS t1
3)job.setInputFormatClass(com.cloudera.sqoop.mapreduce.db.DataDrivenDBInputFormat .class);
4)mapreduce.jdbc.input.orderby sqoop_1.id
c)mapreduce.jdbc.input.class QueryResult
d)sqoop.inline.lob.length.max 16777216
2）设置Output
ImportJobBase.configureOutputFormat(Job job, String tableName,String tableClassName) a)job.setOutputFormatClass(getOutputFormatClass()); b)FileOutputFormat.s etOutputCompressorClass(job, codecClass);
c)SequenceFileOutputFormat.setOutputCompressionType(job,CompressionType.BLOCK);
d)FileOutputFormat.setOutputPath(job, outputPath);
3）设置Map
DataDrivenImportJob.configureMapper(Job job, String tableName,String tableClassName)
a)job.setOutputKeyClass(Text.class);
b)job.setOutputValueClass(NullWritable.class);
c)job.setMapperClass(com.cloudera.sqoop.mapreduce.TextImportMapper);
4）设置task number
JobBase.configureNumTasks(Job job)
mapred.map.tasks 4
job.setNumReduceTasks(0);
七大概流程
1.读取要导入数据的表结构，生成运行类，默认是QueryResult，打成jar包，然后提交给Hadoop
2.设置好job，主要也就是设置好以上第六章中的各个参数
3.这里就由Hadoop来执行MapReduce来执行Import命令了，
1）首先要对数据进行切分，也就是DataSplit
DataDrivenDBInputFormat.getSplits(JobContext job)
2）切分好范围后，写入范围，以便读取
DataDrivenDBInputFormat.write(DataOutput output) 这里是lowerBoundQuery
and upperBoundQuery
3）读取以上2）写入的范围
DataDrivenDBInputFormat.readFields(DataInput input)
4）然后创建RecordReader从数据库中读取数据
DataDrivenDBInputFormat.createRecordReader(InputSplit split,TaskAttemptContext context)
5）创建Map
TextImportMapper.setup(Context context)
6）RecordReader一行一行从关系型数据库中读取数据，设置好Map的Key和Value，交给Map
DBRecordReader.nextKeyValue()
7）运行map
TextImportMapper.map(LongWritable key, SqoopRecord val, Context context)
最后生成的Key是行数据，由QueryResult生成，Value是NullWritable.get()
八总结
通过这些,了解了MapReduce运行流程.但对于Sqoop这种切分方式感觉还是有很大的问题.比如这里根据ID范围来切分,如此切分出来的数据会很不平均,比如
min(split-id)=1,max(split-id)=3000，交给三个map来处理。那么范围是
(1-1000),(1001-2000),(2001-3000).而假如1001-2000是没有数据，已经被删除了。那么这个map就什么都不能做。而其他map却累的半死。如此就会拖累job的运行结果。这里说的范围很小，比如有几十亿条数据交给几百个map去做。map一多，如果任务不均衡就会影响进度。看有没有更好的切分方式？比如取样？如此看来，写好map reduce也不简单!、
实验三数据表的创建与管理 一、实验题目 数据表的创建与管理 二、实验目的 要求学生熟练掌握使用SQL Server Management Studio和利用T-SQL语句进行数据表的创建和删除，并对数据表和表中的数据进行有效的管理。 三、实验内容 1、使用SQL Server Management Studio创建和删除数据表、修改表结构、更新数据。 2、使用T-SQL语句创建和删除数据表、修改表结构、更新数据。 四、实验项目 （一）表的创建 1、使用SQL Server Management Studio创建表 实验3.1在JXGL数据库中，使用SQL Server Management Studio建立S、C和SC三个表，其结构如下3-1~3-3所示。 表3-1 学生表S的结构
表3-3 选课表SC的结构 步骤如下： ①在“对象资源管理器”中单击“JXGL”前面的“+”号，选择“表”并右键单击，在弹出的快捷菜单中选择“新建表”命令，打开设计表字段对话框，如图3-1所示。 图3-1 设计表字段对话框 ②在设计表对话框中分别输入“列名”、“数据类型”和“允许NUll值”3个参数的值。 ③设计完表的字段后，单击“保存”按钮，弹出保存对话框，如图3-2所示，在输入表名称中更改表名；或者单击“关闭”按钮，弹出是否要保存更改的提示对话框，如图3-3所
示。 图3-2 保存对话框 图3-3 是否要保存更改的提示对话框 1、使用T-SQL语句创建数据库 实验3.2在学生管理数据库EDUC中，利用T-SQL语句创建数据表。表结构如下表3-4~3-10所示。 表3-4学生信息表Student_info的结构
实验二 一、实验目的 （1）掌握查询分析器的使用。 （2）掌握通过SQL语句创建表的方法。 （3）掌握通过SQL语句修改表结构的方法。 （4）掌握通过SQL语句添加、修改、删除表数据的方法。 二、实验内容 1、通过SQL语句删除表 用SQL语句在数据库Student_info中删除实验一创建的Student表、Course表、SC表。 1、选择Student_info数据库，在该数据库环境中“新建查询”，然后完成删除操作 2、分别填写如下SQL语言 ①、drop table Student ②、drop table Course
③、drop table SC 3、删除操作完成 2、通过SQL语句创建表 用SQL语句在数据库Student_info中创建实验一中的Student表、Course表、SC表，结构如实验一中表2、表3、表4（即创建出空表即可）所示 ①、创建Student表 create table Student( Sno char(8)primary key, Sname varchar(8)not null, Sex char(2)not null, Birth smalldatetime not null, Classno char(3)not null, Entrance_date smalldatetime not null, Home_addr varchar(40) )
②、创建Course表 create table Course( Cno char(3)primary key, Cname varchar(20)not null, Total_perior smallint check(Total_perior>0), Credit tinyint check(Credit<=6 and credit>0) ) ③、创建SC表 create table SC( Sno char(8)not null, Cno char(3)not null, Grade tinyint check(Grade>=0 and Grade<=100), primary key(Sno,Cno), foreign key(Sno)references Student(Sno), foreign key(Cno)references Course(Cno) ） 3、通过SQL语句管理表结构 （1）添加和删除列 a. 给Student表增加身高（以米单位）Stature列，类型为numeric(4，2）,允许为空
实验二、管理数据库和数据表 时间：2013.09.13 实验目的 深刻理解数据库的概念，掌握用图形化界面与T-SQL两种方法增、删、改、查数据库的基本操作。 实验步骤 一、使用图形化界面 思考、操作并回答下列问题，将答案写在课堂笔记本上（请注明记录日期）。1、创建一个数据库，数据库名为：MyClassmates，用于存放本班同学信息。 找一找，你创建的数据库对应的数据库文件保存在硬盘的什么位置？ 你在SQL Server 2008中创建的数据库，在硬盘上对应着几个文件？ 后缀名分别是？ 2、请查看MyClassmates数据库的相关属性。 在“数据库属性”窗口中，你从“常规”选项卡能查看到哪些内容？ 从“文件”选项卡能查看到哪些内容？ 二、使用T-SQL方法 思考、操作，并在笔记本上认真、如实记录你运行的SQL语句； 记录在运行语句过程中遇到的报错信息和解决方法。 1、成功执行课件示例： 用T-SQL语句在C:\data与D:\data文件夹中创建一个教师信息数据库teacher，该数据库包含： 一个主数据文件逻辑名‘teacherdata’，物理名‘C:\data\tdata.mdf ’,初始容量1MB，最大容量10MB，每次增长量为15%。 一个事务日志文件逻辑名‘teacherlog’，物理名‘D:\data\teacherlog.ldf ’，
初始容量512KB，最大容量不受限制，每次增长量为512KB。 注意：要记录的内容包括： 成功运行的SQL语句； 运行时遇到的报错信息（挑关键信息记录即可，没遇到错误不记录即可）； 对应的解决方法。 2、用T-SQL方法创建名为TongXue的数据库，并将数据库文件存储在D:\data 文件夹下。 注意记录，记录内容同上。 3、用系统存储过程sp_helpdb查看数据库的基本信息；用系统存储过程 sp_spaceused显示数据库的已用空间和可用空间。 注意记录，记录内容同上。 4、用alter database命令将数据库TongXue重命名为student； 注意记录，记录内容同上。 5、删除Student数据库。 注意记录，记录内容同上。 三、使用图形化界面进行分离、附加数据库操作 请用一句话，分别说明分离数据库和附加数据库两个操作的作用。
第3章数据库中表的管理 3.1 数据类型 （1）整数类型 数据类型可分为tinyint、smallint、int和bigint四种，各类型的范围如下表： 其中，int数据类型是SQL Server 2005中的主要整数数据类型。 （2）bit类型 可以取值为1、0或NULL的整数数据类型。字符串值TRUE可以转换为1，字符串值FALSE可以转换为0 （3）decimal和numeric类型 带固定精度和小数位数的数值数据类型。格式：decimal(p,s)或者缩写为dec(p,s)、numeric(p,s).其中p是精度（即最多可以存储的十进制数字的总位数，包括小数点左边和右边的位数），s是小数位数。 （4）float 浮点型数据类型。 （5）datatime和smalldatatime 用于表示某天的日期和时间的数据类型。 （6）char和verchar 字符数据类型。char ( n ) 固定长度，非Unicode 字符数据，长度为n 个字节。n 的取值范围为 1 至8,000，存储大小是n 个字节。varchar ( n | max ) 可变长度，非Unicode 字符数据。n 的取值范围为 1 至8000。max 指示最大存储大小是231-1 个字节。 （7）nchar 和nverchar 字符数据类型。nchar ( n ) 固定长度，Unicode 字符数据, 长度为2*n 个
字节。n 的取值范围为 1 至4,000，存储大小是n 个字节。varchar ( n | max ) 可变长度，Unicode 字符数据。n 的取值范围为 1 至4,000。max 指示最大存储大小是231-1 个字节。 3.2 创建表 （1）使用Management Studio创建表 （2）利用SQL语句创建表 使用create命令创建表非常灵活，它允许对表设置几种不同的选项，包括表名、存放位置和列的属性等。 其完整语法形式如下： CREATE TABLE表名
《数据库技术》上机实验 实验三数据库及数据库表的创建与管理 一、实验目的 熟悉和掌握数据库的创建和连接方法； 熟悉和掌握数据表的建立、修改和删除； 加深对表的实体完整性、参照完整性和用户自定义完整性的理解。 二、实验软件平台 Windows XP/7/8/10操作系统； 安装了SQL SERVER 三、实验内容 背景材料：在以下实验中，使用学生-课程数据库（school），它描述了学生的基本信息、课程的基本信息及学生选修课程的基本信息。(要求使用命令的方式创建) 1.创建学生-课程数据库create database school Sno：char(9) Sname: varchar(6) Ssex:char(2) Sage:tinyint Sdept:char(2) Sno为主键，姓名不能为空，性别只能取男或女，年龄大于等于0。 Cno为主键，课程名不能为空，先行课可以为空，学分大于等于0 Sno：char(9) Cno:varchar(3) grade: float 主键是课程号和学号思考？成绩可以为空么？为什么？ 5.将以上创建表S、C、SC的SQL命令以.SQL文件的形式保存在磁盘上。[文件操作的方 式直接保存即可，这部分不用写在“四实验结果”中] 温馨提示：到这部分内容做完为止，可以用数据库的备份功能将所建好的数据库及数据库表完全备份下来，下周的实验课程会利用这个表结构。或者直接保存题5的SQL语句也可以，下次课直接执行这些sql文件，也可以达到保存的目的。 6.在表S上增加“出生日期”属性列。 7.删除表S的“年龄”属性列。 8.删除表SC，利用磁盘上保存的.SQL文件重新创建表SC。 9.修改C表，将学分的约束改为0到5之间 10.修改S表的性别的类型，设置为char（1），并将约束改为0和1
数据库运行管理规范 1总则 1.1为规范XX公司信息通信分公司（以下简称“公司”）信息系统的数据库管理和配置方法，保障信息系统稳定安全地运行，特制订本办法。 2适用范围 本规范中所定义的数据管理内容，特指存放在信息系统数据库中的数据，对于存放在其他介质的数据管理，参照相关管理办法执行。 3数据库管理员主要职责 3.1负责对数据库系统进行合理配置、测试、调整，最大限度地发挥设备资源优势。负责数据库的安全运行。 3.2负责定期对所管辖的数据库系统的配置进行可用性，可靠性，性能以及安全检查。 3.3负责定期对所管辖的数据库系统的可用性，可靠性，性能以及安全的配置方法进行修订和完善。 3.4负责对所管辖的数据库系统运行过程中出现的问题及时处理解决。 3.5负责对所管辖数据库系统的数据一致性和完整性，并协助应用开发人员、使用操作等相关人员做好相关的配置、检查等工作。 3.6负责做好数据库系统及数据的备份和恢复工作。 4数据库的日常管理工作 4.1每日的管理工作 4.1.1数据库管理员每天登录到服务器操作系统，进行如下检查工 作： (1)检查所有的数据库实例状态以及所有与数据库相关的后台进程。
(2)检查数据库网络的连通与否，比如查看监听器（listener）的状态、网络能否ping通其它的计算机、应用系统的客户端能否连通服务器等等。 (3)检查磁盘空间的使用情况。如果剩余的空间不足 20% ，需要删除不用的文件以释放空间。 (4)查看告警文件有无异常。 (5)根据数据库系统的特点，检查其它的日志文件中的内容，发现异常要及时加以处理。 (6)检查cpu、内存及IO等的状态。 4.2数据库管理的每月工作 (1)收集数据库的性能统计数据，检查高速缓存区命中率、资源争用等统计信息，若不理想，设法加以分析改善。 (2)检查数据对象存储空间碎片情况，必要时加以调整。 (3)比较分析数据库系统和操作系统的CPU，内存，网络，及硬盘的利用率，以此确定出近期将可能出现的资源争夺趋势，必要时加以调整，以避免系统资源的争夺，如果调整还达不到要求，须考虑增加新资源。 (4)检查每日数据库管理工作的执行情况，用户、数据对象存储空间增加删改的记录是否齐全，备份记录、维护记录是否齐全，不足的及时补上。 4.3数据库管理的每年工作 (1)逐项检查每日、每月数据库管理工作的执行情况。用户、数据对象存储空间增加删改的记录是否齐全，备份记录、维护记录是否齐全，不足的及时补上。 (2)对数据库系统运行的情况作出统计。 (3)分析运行状况资源消耗的趋势，作好新一年的计划。 5数据库的安全管理 5.1数据库环境安 5.1.1物理环境安全
实验1创建数据库及表的创建与管理 一、实验目的与要求 1、掌握使用T-SQL语句创建数据库、数据表和`数据表完整性约束的定义。 2、熟悉表的结构和列所使用的数据类型。 3、理解数据表完整性含义及其定义的方法。 二、实验平台 1、操作系统：Windows XP或Windows 2003 2、数据库管理系统：SQL Server 2005 三、实验内容 （一）数据库创建与管理 创建一个“教务管理系统”数据库，并将下列表创建在该数据库中（二）在“教务管理系统”数据库钟实现表的创建与完整性定义StudentInfo(学生信息表) TeacherInfo(教师信息表)
CourseInfo(课程信息表) StudentCourse(学生选课表)
Teaching(教学表) RankPayment（职称课酬表） 1、使用T-SQL语句创建以上数据表。同时定义主键约束：StudentInfo表主键Sno；TeacherInfo表主键Tno；CourseInfo表主键Cno；RankPayment表主键Trank。 2、使用T-SQL语句定义以上数据表的其他约束 ①对StudentInfo表的Sname进行唯一性约束（unique约束），约束名称为S1。 ②对CourseInfo表的Cname进行唯一性约束（unique约束）。 ③对StudentCourse表定义外键约束：Sno引用StudentInfo表中的Sno，Cno 引用CourseInfo表中的Cno。 ④对TeacherInfo表定义外键约束：Trank引用RankPayment表中的Trank。 ⑤对Teaching表定义外键约束：Tno引用TeacherInfo表中的Tno，Cno引用CourseInfo表中的Cno。 ⑥对StudentCourse表的Score进行CHECK约束：Score必须在0至100之间。
数据库实验实验四 计科二班 叶雨琪 20134650
实验四数据库表的创建和管理 一、目的与要求 1.掌握数据库表的两种创建方法； 2.掌握完整性约束的设置方法； 3.掌握导入导出数据的操作方法； 二、实验准备 1.了解完整性约束的概念，分类； 2.了解T-SQL创建、修改和删除表的语法格式； 3.了解数据导入导出。 三、实验内容 (一) 在对象资源管理器中创建数据库表 创建数据库studb，存储属性为默认，在studb数据库中建立数据表。结构如图4-1所示： 图4-1
需要定义的约束有： 1．主键和外键，依据图中标识建立按住Ctrl键鼠标选中要设为主键的两个表， 2．S表中在s_name上建立唯一键约束。选择sname右键索引/键添加类型选择唯一键列选择sname
3．C表中设置check约束为ccredit不能为负数 ccredit右键CHECK约束添加常规表达式写ccredit>=0
3．SC表中score默认值为0 选中score右键CHECK约束添加常规表达式写score=0 (二) 使用T-SQL语句修改表 1．在S表中增加新的列，列名sfzh，数据类型为varchar(18)。alter table dbo.S add sfzh varchar(18) 2．在C表中增加外键约束，外键是cpno，参考C表的cno列。alter table dbo.C add constraint cpno foreign key(cno) references dbo.C(cno) 3．在SC表中删除默认值约束。 alter table dbo.SC drop constraint CK_SC
实验三数据表的创建与管理 一、实验目的 要求学生熟练掌握SQL server Management Studio的使用和利用T-SQL语句进行数据表的创建和删除，并对数据表和表中数据进行有效的管理。 二、实验内容 分别使用SQL Server Management Studio和T-SQL语句创建和删除数据表，修改表结构，输入数据、更新数据。 三、实验指导 1. 数据表定义 实验3.1在“JXGL”数据库中，使用SQL Server Management Studio建立S、C和SC 三个表，其结构如表 表1.3.1 学生表S结构 列名描述数据类型允许空值说明 sno 学号char(8) NO 主键 sname 姓名char(8) NO age 年龄Smallint YES sex 性别char(2) YES sdept 所在系Varchar(50) YES 表1.3.2 课程表C结构 列描述数据类型允许空值说明 cno 课程号char(4) NO 主键 cname 课程名char(20) NO credit 学分Float YES pcno 先修课char(4) YES describe 课程描述varchar(100) YES 表1.3.3 选课表SC结构 列描述数据类型允许空值说明 sno 学号char(8) NO 主键（同时都是外键）cno 课程号char(4) NO grade 成绩Float YES 具体步骤如下： (1)在SQL Server Management Studio的对象管理器中，单击数据库前面的“+”号，选择“表”并击右键，在弹出的快捷菜单中选择“新建表”菜单项，则进入设计表字段对话框，
第4章数据表的创建和管理——例题解答 例4-2-1：在数据库STUDENT中创建一个学生基本信息表（名为t_student），表中各列的要求如表4-2-1所示。 表4-2-1 学生基本信息表（名为t_student）组成 实现的步骤如下： （1）在SQL Server Management Studio中新建一个查询页面。 （2）输入以下程序段并执行此查询： USE STUDENT GO CREATE TABLE t_student ( s_number char(10) not null, s_name char(8), sex char(2) default '男' , birthday datetime, polity char(4) ) GO 如果系统的输出结果为：“命令已成功完成。”，则表明t_student数据表已经创建成功了。 例4-3-1：为t_student2表中的s_number字段创建非空约束。 程序清单如下： USE STUDENT GO CREATE TABLE t_student2( s_number char(10) NOT NULL, s_name char(8), sex char(2), phonenum int
) 例4-3-2：在数据库STUDENT中创建一个t_student3表，并定义s_number为主键。增加主键后，就限定了该记录中不能插入编号相同的两个或者多个数据信息，从而保证了表中的记录信息是唯一的。 程序清单如下： USE STUDENT GO CREATE TABLE t_student3( s_number char(10) PRIMARY KEY, s_name char(8), sex char(2), birthday datetime, polity char(4) ) 例4-3-3：创建一个学生信息表t_student4，其中s_name字段具有唯一性。 程序清单如下： USE STUDENT GO CREATE TABLE t_student4 ( s_number char(10) PRIMARY KEY, s_name char(8), sex char(2) , birthday datetime, polity char(4), constraint uk_name unique(s_name) ) 例4-3-4：创建一个学生信息表t_student5，其中输入性别字段值时，只能接受“男”或者“女”，而不能接受其他数据。 程序清单如下： USE STUDENT GO CREATE TABLE t_student5( s_number char(10), s_name char(8), sex char(2), phonenum int, CONSTRAINT chk_sex CHECK(sex in ('男','女'))
实验二通过SQL语句创建与管理数据表 实验目的 （1）掌握查询分析器的使用。 （2）掌握通过SQL语句创建表的方法。 （3）掌握通过SQL语句修改表结构的方法。 （4）掌握通过SQL语句添加、修改、删除表数据的方法。 实验内容 1．通过SQL语句删除表 用SQL语句在数据库Student_info中删除实验一创建的Student表、Course表、SC表。 2．通过SQL语句创建表 用SQL语句在数据库Student_info中创建实验一中的Student表、Course表、SC表，表结构如实验一中表、表、表所示。 3．通过SQL语句管理表结构 （1）添加和删除列 a．给Student表增加身高（以米单位）stature列，类型为numeric（4，2），允许为空值，且身高值需小于3.0米。
b．给Student表增加所在系Sdept列，字符型，长度2，不允许为空值。 c．给Student表增加邮政编码Postcode列，字符型，长度为6，可以为空，若不为空时，则要求其值只能出现数字，不能是其他字符。 d．删除Student表中身高stature列。 （2）添加和删除约束 a．在Student表添加约束：入学时间必须在出生年月之后。
b．给SC表的成绩grade列增加默认值约束，默认值为0。 c．删除grade列的默认值约束。 4．通过SQL语句添加、修改、删除表中数据 （1）插入数据 a．Student表、Course表、SC表的记录见实验一的表、表、表，其他数据可自行添加。要求Student表和SC表中数据包括了每位同学自己的学号。
b．执行如下语句：insert into student（sno，sname，sex）values（''，'赵青'，'男'），该语句能成功执行吗为什么 不能。因为在into中没有出现属性列，新纪录在这些列上将去空值。但在表定义时说明的not null的属性列不能去空值，否则将会出错。 c．执行如下语句：insert into sc values（''，'005'，80），该语句能成功执行吗为什么不能。在Course表中没有‘005’这个号，所以在SC中插入‘005’会报错。 （2）修改数据 a．使用T-SQL语句，将Course表中的课程号为'002'的学分改为4，总学时改为64。
一.实验内容、步骤以及结果 1.利用图形用户界面创建，备份，删除和还原数据库和数据表 (1)创建SPJ数据库，初始大小为 10MB，最大为50MB，数据库自动增长， 增长方式是按5％比例增长；日志文件初始为2MB，最大可增长到5MB， 按1MB增长。数据库的逻辑文件名和物理文件名均采用默认值。 (2)在SPJ数据库中创建如图2.1-图2.4的四张表 (3)备份数据库SPJ（第一种方法)：备份成一个扩展名为bak的文件。（提 示：最好先删除系统默认的备份文件名，然后添加自己指定的备份文件 名） (4)备份数据库SPJ（第二种方法)：将SPJ数据库定义时使用的文件(扩展 名为mdf,ldf的数据文件、日志文件等)复制到其他文件夹进行备份。 (5)删除已经创建的工程项目表(J表)。 (6)删除SPJ数据库。（可以在系统默认的数据存储文件夹下查看此时SPJ 数据库对应的mdf,ldf文件是否存在） (7)利用备份过的bak备份文件还原刚才删除的SPJ数据库。（还原数据库） (8)利用备份过的mdf,ldf的备份文件还原刚才删除的SPJ数据库。（附加） (9)将SPJ数据库的文件大小修改为100MB。 (10) 修改S表，增加一个联系电话的字段sPhoneNo，数据类型为字符串类型。 2. 利用SQL语言创建和删除数据库和数据表 (1) 用SQL语句创建如图2.5-图2.7要求的数据库Student，初始大小为20MB，最大为100MB，数据库自动增长，增长方式是按10M兆字节增长；日志文件初始为2MB，最大可增长到5MB，按1MB增长。数据库的逻辑文件名和物理文件名，日志文件名请自定义。 (2) 用SQL语句创建上述的三张表，各个字段的数据类型请自己确定，每张表只要有主键约束即可，不要其他约束。不用输入数据。 (3) 用SQL中的backup 语句将数据库Student备份到一个bak文件。(提示：backup database student to disk) --备份: BACKUP DATABASE "student"TO DISK ='C:\lzcDB1\mybak1015.bak' (4) 用SQL语句删除创建的表。 drop table S drop table C drop table SC
实验六: 数据表的创建和管理 实验目的 熟练掌握SQL Server Management Studio的使用和使用T-SQL语句创建和删除数据表、修改表结构，更新数据。学会使用SQL Server查询分析器接收T-SQL语句并进行结果分析。实验内容 分别使用SQL Server Management Studio和T-SQL语句创建和删除数据表、修改表结构，更新数据。 实验步骤： 创建用于学生管理数据库，数据库名为XSGL，包含学生的基本信息，课程信息和选课信息。数据库XSGL包含下列3个表： (l）student：学生基本信息。 (2）course：课程信息表。 (3）sc：学生选课表。 各表的结构分别如表1、表2和表3所示。 表3 学生选课表：sc 一. 数据库的建立： 1．用可视化界面建立： （a）在SQL SERVER2005中用Management Studio-新建数据库； 2．命令方式建立：
（a）在SQL SERVER2005中，在新建查询中使用T-SQL语句：(在做如下操作前，请将第一实验建立的XSGL数据库删除) 二. 表的建立： 1．用可视化界面建立： 在SQL SERVER2005中用Management Studio—数据库—XSGL—表—右键—新建表; 2．命令方式建立： 在SQL SERVER2005 中的”新建查询”编辑窗口中用下列SQL语句: 三. 表数据的添加: 1. 用可视化方法: I: 在SQL SERVER2005中用Management Studio—数据库—XSGL—表－表名—右键－打开表－返回所有行；
输入下列数据： 2. 在SQL SERVER2005”新建查询” 的编辑窗口中使用下列SQL 语句插入数据:
《数据库原理与应用》课程实验指导 V1 @2011 实验三数据表的创建与管理及数据库的备份与还原 1．实验目的 (1)熟练掌握SQL Server Management Studio 的使用方法；熟练掌握使用Transact-SQL语句创建并删除数据表、修改表结构，更新数据。学会使用SQL Server查询分析器接收Transact-SQL语句进进结果分析。 (2)了解SQL Server的数据库备份和恢复机制，掌握SQL Server中数据库备份与还原的方法。 2．实验内容 (1) 分别使用SQL Server Management Studio 和 Transact-SQL语句创建和删除数据表， 修改表结构，输入并更新数据。 (2) 使用SQL Server Management Studio创建“备份设备”。 (3) 使用SQL Server Management Studio平台对数据库“学生选课”进行备份和还原。 3. 实验步骤 1）数据表定义 (1)使用SQL Server Management Studio 建立student、course和SC三个表，其结构如图1所示。 （c）sc表 图1 数据表结构图 《数据库原理与应用》课程实验指导 V1 @2011 具体操作步骤： a)在SQL Server Management Studio的对象管理器中，单击“学生选课”数据库前面的+号，右击选其中“表”，在弹出的快捷菜单中选择“新建表”命令，则进入设计表字段对话框，如图2所示。 图2 设计字段对话框 b)在设计表字段对话框中，共有3列参数：列名、数据类型、允许空。列名就是数据库表的字段名，而数据类型是字段值的类型号即整型、字符型、日期时间型等，允许空是用来设置该字段中的值能不能不填写。Student表设计如图3所示。图3 在表设计器中完成Student表结构设计 《数据库原理与应用》课程实验指导 V1 @2011 注意：表结构中主键的设置方法，在表设计中，选中主键字段（单击字段行前方块，选择多行时需同时按住shift键）行，右击选中行，在弹出快捷菜单中选择“设置主键”，如图4所示。 图4 设置表主键 c)设计好表的字段后，单击“关闭”按钮
实验：管理SQL Server表数据 一、实验目的 1.熟悉数据表结构及使用特点； 2.熟悉使用Management Stuio界面方式管理数据表数据； 3.熟悉使用T-SQL语句管理数据表数据。 二、实验环境 已安装SQL Server 2005 企业版的计算机； 具有局域网环境,有固定IP; 三、实验学时 2学时 四、实验要求 1.了解SQL Server数据表数据的管理方法； 2.了解SQL Server数据类型； 3.完成实验报告（部分题只需给出关键语句）。 五、实验内容及步骤 创建数据库，并依据数据表的结构创建相对应的数据表（student、course、sc），请分别使用Management Stuio界面方式及T-SQL 语句实现进行以下操作： 1.向各个数据表中插入如下记录： 学生信息表（student）
课程信息表（course） 选课信息表（sc）
使用
2.修改CS系姓名为“李勇”的学生姓名为“李咏”； go
update student set sname='李咏' where sdept='CS'and sname='李勇' go select*from student 3.修改课程“数据处理”的学分为3学分； use studentinfo go update course set Ccredit=3 where Cname='数据处理' select*from course 4.将选修课程“1”的同学成绩加5分； use studentinfo go update sc set Grade=Grade+ 5 where Cno=1 5.将选修课程“大学英语”的同学成绩加5分； use studentinfo go update sc set Grade=Grade+ 5
实验2 数据表的创建与管理 实验目的 1.掌握SQL Server 2005数据表的类型、数据类型。 2.掌握SQL Server 2005创建数据表的不同方法。 3.使用图形界面和使用SQL语句。 4.掌握数据表结构的查看、修改及删除的操作。 5.掌握数据的完整性,6个完整性约束的应用。 实验内容及步骤 一、表的创建 1.利用SQL Server管理平台创建表 在SQL Server管理平台中，展开指定的服务器和数据库，打开想要创建新表的数据库，右击表对象，并从弹出的快捷菜单中选择“新建表”选项，如图3-1所示。在图3-1的对话框中，可以对表的结构进行更改，设置主键及字段属性，使用SQL Server管理平台可以非常直观地修改数据库结构和添加数据。在表中任意行上右击，则弹出一个快捷菜单，如图3-2所示。 图3-1 新建表对话框 图3-2 设置字段属性对话框 2. 利用create命令创建表 使用create命令创建表非常灵活，它允许对表设置几种不同的选项，包括表名、存放位
置和列的属性等。其完整语法形式如下： CREATE TABLE [database_name.[owner].|owner.]table_name （{
1、MySQL Workbench MySQL Workbench是一款专为MySQL设计的ER/数据库建模工具。它是著名的数据库设计工具DBDesigner4的继任者。你可以用MySQL Workbench 设计和创建新的数据库图示，建立数据库文档，以及进行复杂的MySQL迁移MySQL Workbench是下一代的可视化数据库设计、管理的工具，它同时有开源和商业化的两个版本。该软件支持Windows和Linux系统，下面是一些该软件运行的界面截图：
2、数据库管理工具Navicat Lite Navicat TM是一套快速、可靠并价格相宜的资料库管理工具，大可使用来简化资料库的管理及降低系统管理成本。它的设计符合资料库管理员、开发人员及中小企业的需求。Navicat是以直觉化的使用者图形介面所而建的，让你可以以安全且简单的方式建立、组织、存取并共用资讯。 界面如下图所示：
Navicat提供商业版Navicat Premium和免费的版本Navicat Lite。免费版本的功能已经足够强大了。 Navicat支持的数据库包括MySQL、Oracle、SQLite、PostgreSQL和SQL Server等。
3、开源ETL工具Kettle Kettle是一款国外开源的etl工具，纯java编写，绿色无需安装，数据抽取高效稳定(数据迁移工具)。Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。
?授权协议：LGPL ?开发语言：Java ?操作系统：跨平台 4、Eclipse SQL Explorer SQLExplorer是Eclipse集成开发环境的一种插件，它可以被用来从Eclipse 连接到一个数据库。 SQLExplorer插件提供了一个使用SQL语句访问数据库的图形用户接口（GUI）。通过使用SQLExplorer，你能够显示表格、表格结构和表格中的数据，以及提取、添加、更新或删除表格数据。 SQLExplorer同样能够生成SQL脚本来创建和查询表格。所以，与命令行客户端相比，使用SQLExplorer可能是更优越的选择，下图是运行中的界面，很好很强大。
南京晓庄学院 《数据库原理与应用》课程实验报告 实验三数据表的创建与管理实验 所在院(系):数学与信息技术学院 班级： 学号：
： 1.实验目的 (1)理解SQL Server 2005常用数据类型和表结构的设计方法。理解主键、外键含义，掌握 建立各表相关属性间参照关系的方法。 (2)熟练掌握使用SQL Server Management Studio图形工具创建表，删除表，修改表结构， 插入及更新数据的方法。 (3)熟练掌握使用Transact-SQL语句创建表，删除表，修改表结构，插入及更新数据的方 法。 2.实验要求 基本实验： (1)在实验二所创建的“TM”数据库中合理设计以下各表逻辑结构： 学生信息（学号，，性别，籍贯，出生日期，民族，学院/系别号，班级号） 课程信息（课程号，课程名称，课程所属模块，课程类别，学分，学时） 学习信息（学号，课程号，考试成绩，平时成绩） 院系信息（院系号，院系名称） 要求确定各个字段的名称、类型、是否有默认值，是否主键等信息。 (2)依据你所设计的表结构，使用SQL Server Management Studio图形工具在“TM”数据 库中创建学生信息表和课程信息表，并试验在图形界面中修改表结构，删除数据表，输入并更新数据的方法。 (3)依据你所设计表结构，使用Transact-SQL语句创建学习信息表和院系信息表，并试验 使用T-SQL语句修改表结构，删除数据表，插入和更新数据的方法。 (4)找出已创建各表之间相关属性的参照关系，并在相关表中增加引用完整性约束。 (5)按要求完成实验报告。 扩展实验： (1)在“TM”数据库中补充设计以下各表结构： 教师信息（教师号，，性别，出生日期，学历，学位，入职时间，职称，院系号） 授课信息（教师号，课程号，学期） 班级信息（班级号，班级名称，专业号） 专业信息（专业号，专业名称，学制，学位） 图书信息(图书号，书名，作者，，出版日期，册数，价格，分类) 借书偏息（学号，图书号，借出时间，归还时间） 奖励信息（学号，奖励类型，奖励金额） (2)设计并实现各表之间相关属性的参照关系。 (3)使用SQL Management Studio图形界面或Transact-SQL在“TM”数据库中创建前述各 表，并插入部分数据，要求所插入数据合理有效。
.实验内容、步骤以及结果 1. 利用图形用户界面创建，备份，删除和还原数据库和数据表 (1)创建SPJ数据库，初始大小为10MB，最大为50MB，数据库自动增长，增长方式是按5 % 比例增长；日志文件初始为2MB，最大可增长到5MB，按1MB 增长。数据库的逻辑文件 名和物理文件名均采用默认值。 (2) 在SPJ数据库中创建如图图的四张表
G65\SQLMFR.~dbo. Table.l* G65\SQLEKPR. 7. OOl - dbo.P 列名数据类型允许Null值 jno nchar(lO) □ jname nchar(lO) I □ city nchar(lO) 0 □ LZC-LAPTOP.DBOOl-dboJ ro pame city- JI三建北京 J2 —汽辰春 J3 弹笛厂天津 J4 苣餡厂天津 J5 机车厂唐山 J6无线电厂常州 J7 半导体厂南京 *NIAL MULL NULL LZC-LAPTOP.DBOOl? dbo.P]▼ X pno pname color weigh t 红12 P2錄17 P3蛭丝刀红14 P4蛭丝刀红14 P5凸轮an和 P6齿轮红30 *NIAL NULL NULL NULL
丿LZC LAPTORD&001▼ X snannie status city 卜2D天津 S210北京 53东方红30北京 S4丰秦盛起天津 S5为民30上海 f^ULL NULL LZC-LAFTOPBBOOl - dbo.SPJ 5PJ PTNQ JNO QTY Pi JI200 b Pl J310Q si _Pi H700 -P2J2IM P3JI^00 sz -PH J2200 52PJ M500 PB J5W U - P5JI他 5=PS J2100 -Pl JI20Q P3JI200 卜PS JI100 54re33300 P6J4200 F>21QQ ss P3JI200 茉At肛NULL Ml （3）备份数据库SPJ（第一种方法）：备份成一个扩展名为bak的文件。（提示: 最好先删除系统默认的备份文件名，然后添加自己指定的备份文件名）