二千万のホテルデータ処理

CREATE TABLE Hotel
(
Name varchar(255),
CardNo varchar(255),
Descriot varchar(255),
CtfTp varchar(255),
CtfId varchar(255),
Gender varchar(255),
Birthday varchar(255),
Address varchar(255),
Zip varchar(255),
Dirty varchar(255),
District1 varchar(255),
District2 varchar(255),
District3 varchar(255),
District4 varchar(255),
District5 varchar(255),
District6 varchar(255),
FirstNm varchar(255),
LastNm varchar(255),
Duty varchar(255),
Mobile varchar(255),
Tel varchar(255),
Fax varchar(255),
EMail varchar(255),
Nation varchar(255),
Taste varchar(255),
Education varchar(255),
Company varchar(255),
CAddress varchar(255),
CZip varchar(255),
Family varchar(255),
Version varchar(255),
id varchar(255)
)

db2命令行批量导入

IMPORT FROM ‘C:\XINVOICEMODEL_20121203.CSV‘ OF DEL

INSERT_UPDATE INTO SNDBUSR.XINVOICEMODEL(field1, field2...);

問題?:

db2 => list tables

Table/View                      Schema          Type  Creation time
------------------------------- --------------- ----- --------------------------
CATALOG                         DB2INST1        T     2011-10-21-16.35.38.068444

  1 record(s) selected.

db2 => IMPORT FROM IMPORT.csv OF DEL INSERT INTO CATALOG;
SQL3035N  The tablename parameter in the target specification is not valid.

db2 =>
解決策:

Hi Greensburo,

Unless you started the CLI with the -t option (changing the line terminator) the semicolon on the end of the line is the problem.  
Drop the semicolon.  The command should work fine.(セミロンを削除すると、できるになりました。)

Good Luck,

Kent

 

問題?:

C:\Program Files\IBM\SQLLIB\BIN>db2 import from "F:\hotel\A-0001-200W.csv" OF DEL INSERT INTO HOTEL

SQL3109N  The utility is beginning to load data from file

"F:\hotel\A-0001-200W.csv".

SQL3306N  An SQL error "-964" occurred while inserting a row into the table.

SQL0964C  The transaction log for the database is full.  SQLSTATE=57011

SQL3110N  The utility has completed processing.  "122394" rows were read from

the input file.

解決策:

数据库的事务日志满了,调大以下几个数据库参数

Log file size (4KB)                         (LOGFILSIZ)

Number of primary log files                (LOGPRIMARY)

Number of secondary log files               (LOGSECOND)

 

修改对应的参数,使用命令:

update db cfg [fordbname] using <参数名> <参数值>

db2 => update db cfg using logretain on

 

第一批:

C:\Program Files\IBM\SQLLIB\BIN>db2 import from "F:\hotel\A-0001-200W.csv" OF DEL INSERT INTO HOTEL

SQL3109N  The utility is beginning to load data from file

"F:\hotel\A-0001-200W.csv".

SQL3148W  A row from the input file was not inserted into the table.  SQLCODE

"-302" was returned.

SQL0302N  The value of a host variable in the EXECUTE or OPEN statement is out

of range for its corresponding use.  SQLSTATE=22001

SQL3185W  The previous error occurred while processing data from row "799240"

of the input file.

SQL3114W  Some data following "CHEN" in row "936527" and column "1" was not

loaded.

SQL3148W  A row from the input file was not inserted into the table.  SQLCODE

"-302" was returned.

SQL0302N  The value of a host variable in the EXECUTE or OPEN statement is out

of range for its corresponding use.  SQLSTATE=22001

SQL3185W  The previous error occurred while processing data from row "1177644"

of the input file.

SQL3148W  A row from the input file was not inserted into the table.  SQLCODE

"-302" was returned.

SQL0302N  The value of a host variable in the EXECUTE or OPEN statement is out

of range for its corresponding use.  SQLSTATE=22001

SQL3185W  The previous error occurred while processing data from row "1541815"

of the input file.

SQL3148W  A row from the input file was not inserted into the table.  SQLCODE

"-302" was returned.

SQL0302N  The value of a host variable in the EXECUTE or OPEN statement is out

of range for its corresponding use.  SQLSTATE=22001

SQL3185W  The previous error occurred while processing data from row "1598633"

of the input file.

SQL3148W  A row from the input file was not inserted into the table.  SQLCODE

"-302" was returned.

SQL0302N  The value of a host variable in the EXECUTE or OPEN statement is out

of range for its corresponding use.  SQLSTATE=22001

SQL3185W  The previous error occurred while processing data from row "1727125"

of the input file.

SQL3148W  A row from the input file was not inserted into the table.  SQLCODE

"-302" was returned.

SQL0302N  The value of a host variable in the EXECUTE or OPEN statement is out

of range for its corresponding use.  SQLSTATE=22001

SQL3185W  The previous error occurred while processing data from row "1948313"

of the input file.

SQL3110N  The utility has completed processing.  "2000094" rows were read from

the input file.

SQL3221W  ...Begin COMMIT WORK. Input Record Count = "2000094".

SQL3222W  ...COMMIT of any database changes was successful.

SQL3149N  "2000094" rows were processed from the input file.  "2000088" rows

were successfully inserted into the table.  "6" rows were rejected.

Number of rows read         = 2000094

Number of rows skipped      = 0

Number of rows inserted     = 2000088

Number of rows updated      = 0

Number of rows rejected     = 6

Number of rows committed    = 2000094

二千万のホテルデータ処理

时间: 2024-11-18 22:38:15

二千万のホテルデータ処理的相关文章

【转】千万别理程序员

作者: Eric Wilson  来源: 外刊IT评论    原文链接 很多时候,我发现自己需要向编程界以外的人反复解释为什么随意的打搅一个编程中的程序员是多么的讨厌.我需要费力的向他们解释什么是‘流’境界——程序员陷入深深思考和理解一个问题时,一个电话,一个提问,甚至一句“你好”,都会像一声炸雷似的将程序员从“盗梦空间”里惊醒——梦境中建好的一切建筑都会立刻坍塌. 很简单——这是一种非常脆弱易碎的精神境界. 让我很高兴的是,ninlabs研究所的Chris Parnin (@chrisparn

千万别理程序员

英文原文:The Real Cost of Interrupting an Engineer 很多时候,我发现自己需要向编程界以外的人反复解释为什么随意的打搅一个编程中的程序员是多么的讨厌.我需要费力的向他们解释什么是'流'境界--程序员陷入深深思考和理解一个问题时,一个电话,一个提问,甚至一句"你好",都会像一声炸雷似的将程序员从"盗梦空间"里惊醒--梦境中建好的一切建筑都会立刻坍塌. 很简单--这是一种非常脆弱易碎的精神境界. 让我很高兴的是,ninlabs 研

Android Bound Service(二) ----- Using AIDL

refs: http://developer.android.com/guide/components/aidl.html AIDL(Android Interface Definition Language) 就像其它接口定义语言一样.它使你可以定义服务端及客户端程序的接口,以达到跨进程沟通( IPC )的目的. 注意: 1.在多进程多线程的情况下,我们才使用 AIDL 2.单一进程时,使用实现 Binder 类的方式定义接口 3.如果只有跨进程,但不需処理多线程的情况,请使用 Messeng

第1課 理氣地運

風水 風水是從生活經驗而來的.中國地理形勢西北高,東南低,中國古人很注重坐北向南.所有的屋都是以經常出入最多的門口(大門或後門)從屋裏向外的方向作為屋的方向(如前有鐵閘,則按後面的木門方向來看).古代,千金難買向南樓,說明大多數人注重天然風,其實不用正門向南,有向南的窗就可以.另外千萬不要買正南的樓,古時是供皇帝或廟宇用的,常人不能住正南的樓,因那令人多吵架. 陰陽二氣(理氣)(屋運) 五行:無極生太極,有陰有陽就是兩儀.陽極陰生,陰極陽生叫四象,有太陽,屬火,夏天,太陰,屬水,冬天,少陽,屬木

猫跳窗户 学习

1 using UnityEngine; 2 using System.Collections; 3 4 /// <summary> 5 /// 镜头控制 6 /// </summary> 7 public class CameraControl : MonoBehaviour { 8 9 /// <summary> 10 /// 玩家 11 /// </summary> 12 private GameObject player = null; 13 ///

6月13日の勉強レポート

今日自転車で図書館へ行った.勝手に自転車を皆と同じような門前な所で置いた.夕方の時.図書館を出た.自転車のハンドルに目立つ黄色警告のラベルが貼っていたのを気づいた.一目で見ると.「7000円」という文字が書いていた.びっくりした!私の自転車がただの二千円の価値だ!でも詳しく見ると.これは撤去される時に掛かる手数料だ.ついにホッとした.もっと詳しく見ると.このラベルが私が図書館に入ったばかりの頃に貼ったんだ.すごいね.日本の治安はやはり評判に違わないんだ. 日本語単語:現れる 北米 患う 唱える

互联网公司产品开发周期

从开始上班到现在,也快满一年了,在这,就谈一下软件开发的几个阶段.各公司应该有不同的名称,但是开发流程较完整的公司应该是会有下面的几个阶段.下面是我对这几个产品周期阶段的理解还有心得,还请大家不吝指教- 需求评审 在此阶段,产品经理(PM)会提出新的需求,比如说软件的一些新功能,并解说此需求的动机,完成产品需求文档(Project Requirement Document)後招开相关会议:研发人员(RD)则会在会议上评估此项新需求是否可实现.所需要的工作日.对产品稳定度的影响,是否在既有产品已有

SystemTapでMySQL 5.5のDisk I/Oを分析する

http://d.hatena.ne.jp/sh2/20111121 2010年1月の記事SystemTapでMySQLのDisk I/Oを分析するの続きです.以前作成したSystemTapスクリプトは.実はMySQL 5.5のDisk I/Oを分析することができませんでした.というのも.MySQL 5.5からInnoDBが非同期I/Oを行うようになったのですが.以前のスクリプトは非同期I/Oに対応していなかったためです.本日はMySQL 5.5におけるInnoDBの非同期I/Oについて.確認し

【VC编程技巧】窗体?3.5对单文档或者多文档程序制作启动画面

(一)概要: 文章描述了怎样通过Visual C++ 2012或者Visual C++ .NET,为单文档或者多文档程序制作启动画面.在Microsoft Visual Studio 6.0中对于单文档程序(SDI)我们可以很方便利用微软提供的组件Visual C++ Component (Splash Screen).因为在Microsoft Visual Studio 6.0以后的版本或者Visual C++ .NET没有提供这个组件,我们可以通过自定义对话框来实现Splash Screen