当前位置：文档之家 › _NET实现大批量Excel数据导入SQLSERVER

_NET实现大批量Excel数据导入SQLSERVER

  • 格式：pdf
  • 大小：1.46 MB
  • 文档页数：1

11
《商场现代化》2010年12月（中旬刊）总第632期

商业科技
一、引言
数据导入在目前的管理信息系统中是较常见的功能。比如工作
人员经常会将下属单位上报的数据保存在Excel文件中，然后利用
系统的数据导入功能将相关数据一次性导入到数据库管理系统中，
避免了大量数据的逐条入录，提高工作效率。然而数据导入的代码
编写好坏也会对数据导入的性能产生影响。
二、SQL SERVER导入Excel
在应用程序中经常需要将外部的数据一次性导入到SQL
SERVER 中，使用SQL SERVER导入数据的方法有很多种，对于
DBA可以直接使用DBMS自带的DTS工具完成数据的导入，操作非
常方便，然而对于管理系统的使用人员是不能直接接触数据库管理
系统的，无法采用这种方法实现数据的导入。因此，程序设计员应
该要将数据导入功能在程序中做好，直接提供给用户去实现，程序
实现数据导入的方法主要有三种，下面介绍各方法实现的原理。
1. insert into导入法
在SQL SERVER 中这种方法是最基本的数据导入方法，大多
数程序开发人员在实现数据导入时首先都会想到这种方法。
语法：insert into tablename(字段名列表) values(值列表)
这种方法虽然简单，但是不适合在实现插入大批量数据的操作
上，根据实验测试表明，如果插入100百万条记录，这种方法将耗
时901599豪秒，约15分钟。严重影响了工作效率，也会由于耗时
过长而对导入的数据的正确性产生影响。
2. BULK insert导入法
BULK insert导入法对于大家可能不是很熟悉，但是当要实现
大批量数据的导入时采用这种方法将会给你带来极高的效率。
语法：BULK insert tablename from '数据文件' WITH
(FIELDTERMINATOR = ',',ROWTER /.,mbMINATOR='',BATCHSIZ
E = 100000)
还是以100万条数据为测试，将其分五个线程，每个线程担任
20万条数据，每5万条一个事物，五个线程同时启动。根据测试实
验的数据表明，该方法耗时是21099豪秒，约21秒，速度提高了近
42倍。
3. SqlBulkCopy类导入法
SqlBulkCopy类导入法引用了System.Data.SqlClient名称空
间，通过该空间创建SqlBulkCopy类来实现大批量数据导入的，具
体的数据导入程序实现如下所示。
//源数据

SqlDataReader reader = myCommand.ExecuteReader();
//目的数据
using (SqlBulkCopy bulkCopy = new
SqlBulkCopy(destinationConnection.ConnectionString))
{
bulkCopy.ColumnMappings.Add("ProductID", "ProductID");
bulkCopy.ColumnMappings.Add("ProductName", "Name");
bulkCopy.ColumnMappings.Add("QuantityPerUnit",
"Quantity");
bulkCopy.DestinationTableName = "Products_TopSelling";
bulkCopy.WriteToServer(reader);
}
使用SqlBulkCopy类导入法将大大的改善了大批量数据的导入
性能，100万条记录的导入时间将缩短至4989耗秒，尽5秒钟即可
完成100完条数据的导入。
三、效率分析
针对以上三种导入法，同样以100万条记录为例，在相同的软
件和硬件环境下进行测试，结果显示每种导入法的运行时间见表1
所示。
表1 数据导入效率
导入法耗时（单位豪秒）
基本的insert into901599
BULK insert21099
SqlBulkCopy4989
四、结论
.NET实现将Excel数据导入到SQL SERVER的方法有多种，但
是执行的效率各不相同，实验表明，选择了好的数据导入法将会极
大程度的提高工作效率，保证数据的完整性。特别是对于大批量数
据导入时，更需要我们注意改善导入的性能，否则当导入了大部分
数据后由于网络或电脑故障等原因停止了数据的导入，下次又要花
大量的时间来处理这些大批量数据，严重的影响了工作效率。

参考文献：
[1]吴莲贵 易瑜：基于ASP_NET的_Web网站设计_网络教学系
统的应用与研究[J].计算机教育,2007.10
[2]郑阿奇：SQL SERVER 使用教程.电子工业出版社.2005.5

.NET实现大批量Excel数据导入SQL SERVER
■
冯炜锐 尹强飞 江西现代职业技术学院
［摘 要］ 人们习惯将待添加的记录保存在Excel文件的作为存档，然后再利用管理系统的数据导入功能将Excel数据批量的导入到数
据库中。实现Excel数据导入到SQL SERVER主要有两种方法，使用DTS界面导入和编写数据导入代码。
［关键词］ 数据导入 管理系统 Excel 工作效率

合集下载

C#之批量插入数据到SQLServer中

C#之批量插入数据到SQLServer中

C#之批量插⼊数据到SQLServer中 创建⼀个⽤来测试的数据库和表，为了让插⼊数据更快，表中主键采⽤的是GUID，表中没有创建任何索引。

GUID必然是⽐⾃增长要快。

⽽如果存在索引的情况下，每次插⼊记录都会进⾏索引重建，这是⾮常耗性能的。

如果表中⽆可避免的存在索引，我们可以通过先删除索引，然后批量插⼊，最后再重建索引的⽅式来提⾼效率。

create database CarSYS;gouse CarSYS;goCREATE TABLE Product(Id UNIQUEIDENTIFIER PRIMARY KEY,NAME VARCHAR(50) NOT NULL,Price DECIMAL(18,2) NOT NULL) 通过SQL脚本来插⼊数据，常见如下四种⽅式。

⼀、通过 INSERT INTO tname (...) VALUES (...) 逐条插⼊，性能最差，不建议使⽤。

⽰例：#region⽅式⼀static void InsertOne(){Console.WriteLine("采⽤⼀条⼀条插⼊的⽅式实现");Stopwatch sw = new Stopwatch();using (SqlConnection conn = new SqlConnection(StrConnMsg)) //using中会⾃动Open和Close 连接。

{string sql = "INSERT INTO Product(Id,Name,Price) VALUES(newid(),@p,@d)";conn.Open();for (int i = 0; i < totalRow; i++){using (SqlCommand cmd = new SqlCommand(sql, conn)){cmd.Parameters.AddWithValue("@p", "商品" + i);cmd.Parameters.AddWithValue("@d", i);sw.Start();cmd.ExecuteNonQuery();Console.WriteLine(string.Format("插⼊⼀条记录，已耗时{0}毫秒", sw.ElapsedMilliseconds));}if (i == getRow){sw.Stop();break;}}}Console.WriteLine(string.Format("插⼊{0}条记录，每{4}条的插⼊时间是{1}毫秒,预估总得插⼊时间是{2}毫秒，{3}分钟",totalRow, sw.ElapsedMilliseconds, ((sw.ElapsedMilliseconds / getRow) * totalRow), GetMinute((sw.ElapsedMilliseconds / getRow * totalRow)), getRow));}static int GetMinute(long l){return (Int32)l / 60000;}#endregion 运⾏结果如下： 结果显⽰插⼊100w条记录，预计需要50分钟时间，每插⼊⼀条记录⼤概需要3毫秒左右。

【Sqlserver】查询结果导出excel

【Sqlserver】查询结果导出excel

博客园 用户登录 代码改变世界 密码登录 短信登录 忘记登录用户名 忘记密码 记住我 登录 第三方登录/注册 没有账户, 立即注册
【 Sqlserver】查询结果导出 excel
1.右键数据库——》任务——》导出数据，打开SQL Server导入和导出向导； 2.选择当前数据库，填写用户名，密码，下一步； 3.选择目标类型要传输的数据（W），可以直接按W，下一步； 5.写入查询SQL语句，点击分析检测语句，下一步； 6.编辑映射关系，预览效果，下一步； 7.下一步，至完成；
注：这种方式可以解决直接复制查询结果时，如身份证号等长数字字符串，在excel中自动转成数字型，导致显示不正确。
SQLServer中bcp命令的用法以及数据批量导入导出

SQLServer中bcp命令的用法以及数据批量导入导出

SQLServer中bcp命令的⽤法以及数据批量导⼊导出0.参考⽂献：1.bcp命令参数解析bcp命令有许多参数，下⾯给出bcp命令参数的简要解析⽤法: bcp {dbtable | query} {in| out | queryout | format} 数据⽂件[-m 最⼤错误数][-f 格式化⽂件][-e 错误⽂件][-F ⾸⾏][-L 末⾏][-b 批⼤⼩][-n 本机类型] [-c 字符类型] [-w 宽字符类型][-N 将⾮⽂本保持为本机类型][-V ⽂件格式版本][-q 带引号的标识符][-C 代码页说明符][-t 字段终⽌符][-r ⾏终⽌符][-i 输⼊⽂件] [-o 输出⽂件] [-a 数据包⼤⼩][-S 服务器名称] [-U ⽤户名] [-P 密码][-T 可信连接] [-v 版本][-R 允许使⽤区域设置][-k 保留空值][-E 保留标识值][-h"加载提⽰"][-x ⽣成xml 格式化⽂件]其中最常⽤的已经⽤粉红⾊字体标注。

2.bcp命令实例这⾥我们以AdventureWorks样例数据库为例进⾏实验。

2.1.将表中数据导出到⼀个⽂件中（使⽤可信连接）bcp AdventureWorks.Sales.Currency out c:\Currency.dat -T -c上⾯的参数 out 表⽰输出⽂件，c:\Currency.dat是⽂件名和路径，-T表⽰可信连接，这个跟sqlcmd有点不同，在sqlcmd中使⽤-E表⽰可信连接。

-c表⽰以字符形式输出，如果使⽤-w的话，输出内容相同，但是输出⽂件的⼤⼩将增加⼀倍。

如果你要将导出的Currency.dat⽂件导⼊到⾮sql server数据库中，那么使⽤-w⽐较好。

2.2.将表中数据导出到⼀个⽂件中（使⽤混合模式⾝份验证）bcp AdventureWorks.Sales.Currency out c:\Currency.dat -c -Usa -Psa12345 -S.这个数据导出语句与前⾯的不同之处是，前⾯使⽤可信连接，也就是windows验证，不需要输⼊⽤户名和密码。

将excel数据导入oracle中的几种方法

将excel数据导入oracle中的几种方法

将excel数据导入oracle中的几种方法将Excel数据导入Oracle数据库有多种方法，下面介绍几种常用的方法，包括使用Oracle SQL Developer、使用PL/SQL、使用OracleData Integrator(ODI)和使用第三方工具。

1. 使用Oracle SQL Developer导入数据Oracle SQL Developer是Oracle官方提供的数据库开发和管理工具。

它提供了一种简单直观的方法将Excel数据导入到Oracle数据库中。

步骤如下：1) 打开Oracle SQL Developer并连接到目标数据库。

2)在导航栏中选择"表格"选项卡。

3)在"表格"选项卡中，右键单击要导入数据的表格，选择"导入数据"。

4) 在"导入数据"对话框中，选择"从文件"选项，并选择Excel文件。

5)配置导入选项，例如数据格式、目标表格和列映射等。

6)单击"导入"按钮，开始导入数据。

2.使用PL/SQL导入数据PL/SQL是Oracle的过程化编程语言，可以使用它编写脚本将Excel数据导入到Oracle数据库中。

步骤如下：1) 打开PL/SQL开发工具，例如Oracle SQL Developer或者Oracle PL/SQL Developer。

2)创建一个新的PL/SQL脚本。

3) 在脚本中使用INSERT语句将Excel中的数据逐行插入到目标表格中。

4)运行脚本以执行导入数据的操作。

3. 使用Oracle Data Integrator(ODI)导入数据Oracle Data Integrator(ODI)是一个数据集成工具，可用于将Excel数据导入到Oracle数据库中。

它提供了一种图形化的方法来定义和管理数据转换和导入操作。

步骤如下：1) 打开ODI Studio并连接到目标数据库。