(4.10) 快速导入数据

SQL Server快速导入数据分享

Posted in Other and tagged Database数据库MSSQLSQL Server导入数据分享on Apr 26, 2014. Viewd 61 times.

目录

文/温国兵

SQL Server快速导入数据,可以尝试的方法如下:CTE、OpenRowSet/OpenDataSource、BULK INSERT、bcp、Shell。

下面依次介绍这几种办法。

1.CTE

首先,我们看看什么是CTE。公用表表达式(Common Table Expression)是SQL SERVER 2005版本之后引入的一个特性。CTE可以看作是一个临时的结果集,可以在接下来的一个SELECT,INSERT,UPDATE,DELETE,MERGE语句中被多次引用。使用公用表达式可以让语句更加清晰简练。CTE 与派生表类似,具体表现在不存储为对象,并且只在查询期间有效。与派生表的不同之处在于,CTE 可自引用,还可在同一查询中引用多次。
更多请点击:

示例如下:

USE AdventureWorks2008R2;
GO
-- Define the CTE expression name and column list.
WITH Sales_CTE (SalesPersonID, SalesOrderID, SalesYear)
AS
-- Define the CTE query.
(
    SELECT SalesPersonID, SalesOrderID, YEAR(OrderDate) AS SalesYear
    INTO #temp1
    FROM Sales.SalesOrderHeader
    WHERE SalesPersonID IS NOT NULL
)
-- Define the outer query referencing the CTE name.
SELECT SalesPersonID, COUNT(SalesOrderID) AS TotalSales, SalesYear
INTO #temp2
FROM Sales_CTE
GROUP BY SalesYear, SalesPersonID
ORDER BY SalesPersonID, SalesYear;
GO

2.OpenRowSet/OpenDataSource

OpenRowSet和OpenDataSource都可以访问远程的数据库,但具体表现上,二者还是有差别的。OpenDataSource 不使用链接的服务器名,而提供特殊的连接信息,并将其作为四部分对象名的一部分。 而OpenRowSet 包含访问 OLE DB 数据源中的远程数据所需的全部连接信息。当访问链接服务器中的表时,这种方法是一种替代方法,并且是一种使用 OLE DB 连接并访问远程数据的一次性的、特殊的方法。可以在查询的 FROM 子句中像引用表那样引用 OpenRowSet 函数。依据 OLE DB 提供程序的能力,还可以将 而OpenRowSet 函数引用为 INSERT、UPDATE 或 DELETE 语句的目标表。尽管查询可能返回多个结果集,然而OPENROWSET 只返回第一个。更多请点击:

示例如下:

--启用Ad Hoc Distributed Queries
EXEC SP_CONFIGURE ‘show advanced options‘,1
RECONFIGURE
EXEC SP_CONFIGURE ‘Ad Hoc Distributed Queries‘,1
RECONFIGURE
--使用OpenDataSource导入数据
INSERT INTO IMP_DATA.dbo.t_goods
SELECT *
FROM OpenDataSource( ‘Microsoft.Jet.OLEDB.12.0‘,
‘Data Source="E:/Report1.txt";User ID=Admin;Password=;
Extended properties=Excel 12.0‘)...[Sheet1$]
--使用完毕后,切记关闭它,因为这是一个安全隐患
EXEC SP_CONFIGURE ‘Ad Hoc Distributed Queries‘,0
RECONFIGURE
EXEC SP_CONFIGURE  ‘show advanced options‘,0
RECONFIGURE

3.BULK INSERT

BULK INSERT允许用户以其指定的格式将数据文件导入到数据库表或视图中。更多请点击:

示例如下:

--定义导入目的和导入源
BULK INSERT IMP_DATA.dbo.t_goods FROM ‘E:/Report1.txt‘
WITH (
  --列分隔符
  FIELDTERMINATOR = ‘,‘,
  --行分隔符
  ROWTERMINATOR = ‘\n‘
)

4.bcp

bcp 实用工具可以在 Microsoft SQL Server 实例和用户指定格式的数据文件间大容量复制数据。 使用 bcp 实用工具可以将大量新行导入 SQL Server 表,或将表数据导出到数据文件。 除非与 queryout 选项一起使用,否则使用该实用工具不需要了解 Transact-SQL 知识。 若要将数据导入表中,必须使用为该表创建的格式文件,或者必须了解表的结构以及对于该表中的列有效的数据类型。
更多请点击:

示例如下:

--打开高级选项
EXEC SP_CONFIGURE ‘show advanced options‘, 1;
RECONFIGURE;
--启用执行CMD命令
EXEC SP_CONFIGURE ‘xp_cmdshell‘, 1;
RECONFIGURE;

--指定导入目的和导入源
EXEC master..xp_cmdshell ‘BCP IMP_DATA.dbo.t_goods in E:\report.txt -c -T‘

5.Shell

Shell通过拼接插入字符串的方法非常灵活,并且出错较少,但插入的内容包含很多非法字符的话会很恼。可以参考以前写的文章:缺乏导入数据权限,SQL Server创建测试数据

最后,贴张前段时间做的图,导入数据总结:

–EOF–

原文地址:

题图来自:原创,By Robin Wen

原文地址:https://www.cnblogs.com/gered/p/9431890.html

时间: 2024-10-21 02:45:00

(4.10) 快速导入数据的相关文章

HBase快速导入数据--BulkLoad

Apache HBase是一个分布式的.面向列的开源数据库,它可以让我们随机的.实时的访问大数据.但是怎样有效的将数据导入到HBase呢?HBase有多种导入数据的方法,最直接的方法就是在MapReduce作业中使用TableOutputFormat作为输出,或者使用标准的客户端API,但是这些都不非常有效的方法. Bulkload利用MapReduce作业输出HBase内部数据格式的表数据,然后将生成的StoreFiles直接导入到集群中.与使用HBase API相比,使用Bulkload导入

SqlLite用SQLiteTransaction快速导入数据

mysql与sql server都有整表导入的类库,但是查遍了资料发现sqlLite没有,除非自己去写个,发现用SQLiteTransaction导入数据也很快,附上代码 /// <summary> /// 导入major表数据 /// </summary> /// <param name="con"></param> /// <param name="dt"></param> public s

arcgis 10.1 导入数据到oracle 发布地图服务

机器配置说明 数据库服务器 系统:linux 软件:oracle 11G 64位 Arcgis server服务器 系统:win7 专业版 软件:arcgis server 10.1.win64_11gR2_client 客户端 系统:windows xp sp3 软件:Arcgis DeskTop 10.1,win32_11gR2_client Oracle client 配置 环境变量设置 添加: ORACLE_HOME:D:\app\zqcpb\product\11.2.0\client_

Mysql中快速导入数据

公司要求为产品做一个离线升级工具,代理商可以下载后直接双击这个exe对当前版本进行升级.工具的其中一个功能是升级前备份用户的数据,升级失败还原数据.之前代码中一直使用的是mysqldump.exe来备份,对小数据量的情况还是稳定的, "..\mysqldump.exe" string.Format(" -h{0} -P{1} -u{2} -p{3} -q -R {4} > {5}" , conn.Server, conn.Port, conn.UserID,

MySQL InnoDB 快速导入数据

今天把需要分析的数据导入到数据库中. 数据将近7000万条,在txt文件中存放,共5.75G.采用Load data infile 导入,最后花了18个小时导入.主要做了以下修改: 1. MySQL优化 key_buffer_size = 64M max_allowed_packet = 8M innodb_buffer_pool_size = 1024M innodb_flush_log_at_trx_commit = 0 innodb_support_xa = 0 2. MySQL设置 戳我

MySQL 之 LOAD DATA INFILE 快速导入数据

SELECT INTO OUTFILE > help select; Name: 'SELECT' Description: Syntax: SELECT [ALL | DISTINCT | DISTINCTROW ] [HIGH_PRIORITY] [MAX_STATEMENT_TIME = N] [STRAIGHT_JOIN] [SQL_SMALL_RESULT] [SQL_BIG_RESULT] [SQL_BUFFER_RESULT] [SQL_CACHE | SQL_NO_CACHE]

mysql数据向Redis快速导入

mysql数据向Redis快速导入 Redis协议 *<args><cr><lf> 参数个数 $<len><cr><lf> 第一个参数长度 <arg0><cr><lf> 第一个参数 $<len><cr><lf> 第一个参数长度 <arg1><cr><lf> 第二个参数 ... ... 编写SQL语句,把mysql数据组合成Red

干货 | 快速实现数据导入及简单DCS的实现

干货 | 快速实现数据导入及简单DCS的实现 原创:?赵琦?京东云开发者社区??4月18日 对于多数用户而言,在利用云计算的大数据服务时首先要面临的一个问题就是如何将已有存量数据快捷的导入到大数据仓库中.本文将演示如何基于京东云数据计算服务平台,简单.快速地将数据导入数据计算服务. 我们通常说的大数据平台主要包括三部分:数据相关的产品和技术.数据资产.数据管理.京东云数据计算服务(Data Computing Service,简称:DCS)是一个全托管.低使用成本的云上数据仓库服务.通过数据工厂

excel十几万行数据快速导入数据库研究(转,下面那个方法看看还是可以的)

先贴原来的导入数据代码: 8 import os os.environ.setdefault("DJANGO_SETTINGS_MODULE", "www.settings") ''' Django 版本大于等于1.7的时候,需要加上下面两句 import django django.setup() 否则会抛出错误 django.core.exceptions.AppRegistryNotReady: Models aren't loaded yet. ''' im