python之TXT数据导入数据库

为了导入数据,可以先对数据做些处理,让其更容易导入数据库

#!/usr/bin/python
#coding=utf-8

import _mysql,sys,time
#读入数据函数
def add_data(id,name,created_time):
    try:
        conn=_mysql.connect(‘127.0.0.1‘,‘root‘,‘‘)
        conn.query("set names utf8")
        conn.query("insert into mysql.test3(%s,%s,%s) values(‘%s‘,‘%s‘,‘%s‘)"%(‘object_id‘,‘object_name‘,‘created‘,id,name,created_time))
        result=conn.use_result()
        conn.close()
    except _mysql.Error,e:
        print ("error %d:%s" % (e.args[0],e.args[1]))
        sys.exit(1)
if __name__ =="__main__":
    f= open("/opt/testdata/aaa.txt","r")

    time1=time.time()
    print time.ctime()
	#读出第一行数据,作为数据表的段名
    line=f.readline()
    content=line.strip().split(",")
    conn0=_mysql.connect(‘127.0.0.1‘,‘root‘,‘‘)
    print ‘connection is builded succesfully‘
    conn0.query("drop table if exists mysql.test3")
    conn0.query("create table mysql.test3(%s varchar(90),%s varchar(90),%s varchar(90))"%(content[0][1:-1],content[1][1:-1],content[2][1:-1]))
    conn0.close()
    #运用next函数,让for循环从第二行开始读数据
    next(f)
    for line in f:
	   #做一些处理,让每一段分开,放置在一个列表中
       content=line.strip().split(",")
       add_data(id=content[0][1:-1],name=content[1][1:-1],created_time=content[2][1:-1])
       
    f.close()

    time2=time.time()
    print time.ctime()
	#计算导入数据的时间
    print ‘importing time is %f‘%(time2-time1)
时间: 2024-10-10 11:12:12

python之TXT数据导入数据库的相关文章

python之EXCEL数据导入数据库

操作承接上面数据库操作的基础,好了,直接上代码 # Excel导入数据库处理 tables = load_workbook(filename='Database/stud.xlsx') # 获取表内容 data = tables.worksheets[0] rows = data.max_row cols = data.max_column sql = 'insert into stu (name, age) values (?, ?)' xl_data = [] for rx in range

将csv和txt 数据导入到数据库中

将文本数据导入到数据库中,最简单的选择是:Excel使用OpenSet,csv和txt 使用bulk insert来实现 1,使用OpenRowSet将Excel导入到数据库中 参考<OpenRowSet 用法> 2,使用bulk insert 将txt数据导入到数据库中,文本数据使用Tab分割Column,使用换行符分割row. --create staging table create table dbo.txt_staging ( col1 nvarchar(255), col2 nva

EXCEL数据导入数据库实例(NPOI)

Default.aspx 页面代码: 引用了:    <script src="../../js/jquery.easyui.min.js" type="text/javascript"></script> <form id="fileForm" runat="server" enctype="multipart/form-data" method="post&quo

[Asp.net]常见数据导入Excel,Excel数据导入数据库解决方案,总有一款适合你!

引言 项目中常用到将数据导入Excel,将Excel中的数据导入数据库的功能,曾经也查找过相关的内容,将曾经用过的方案总结一下. 方案一 NPOI NPOI 是 POI 项目的 .NET 版本.POI是一个开源的Java读写Excel.WORD等微软OLE2组件文档的项目.使用 NPOI 你就可以在没有安装 Office 或者相应环境的机器上对 WORD/EXCEL 文档进行读写.NPOI是构建在POI 3.x版本之上的,它可以在没有安装Office的情况下对Word/Excel文档进行读写操作

sql*loader的使用(iostat数据导入数据库表)

目的:将iostat指令的数据,导入到文件iostat.dat中,然后通过sqlldr将iostat数据倒入到数据库中 第一步:U1/tiger用户建立表iostat create table iostat(device varchar(10),tps float(20),mb_read_s float(20),mb_wrtn_s float(20) ,mb_read float(20),mb_wrtn float(20)); 第二步:创建源数据文件 Iostat –md /dev/sda2 >

python数据分析入门——数据导入数据预处理基本操作

数据导入到python环境:http://pandas.pydata.org/pandas-docs/stable/io.html(英文版) IO Tools (Text, CSV, HDF5, ...)? The pandas I/O API is a set of top level reader functions accessed like pd.read_csv() that generally return a pandasobject. read_csv read_excel re

怎么把excel表格内的数据导入数据库?

第一种方法: 思路:想要把excel表格内的数据直接导入数据库不是那么容易,可以把excel表格另存为.csv格式的文档(特点:内容以逗号分割):然后通过一系列的文档操作函数处理成为一个二维数组,然后再进一步处理即可导入数据库 思路正确但有时会出现问题(explode这里会出现问题,因为数据中可能也包含","号所以一般不采用此方法,请看第二种方法) 1:准备一个需要导入数据的excel表格: 2:另存为.csv后缀的文档(特点:内容以逗号分割) 3:进行文档操作函数处理 1 $file

抽奖升级版 可以经表格数据导入数据库,抽奖设置,补抽

1 using System; 2 using System.Collections.Generic; 3 using System.ComponentModel; 4 using System.Data; 5 using System.Drawing; 6 using System.Drawing.Imaging; 7 using System.Linq; 8 using System.Text; 9 using System.Threading.Tasks; 10 using System.

把Excel表数据导入数据库

导入格式 //导入Excel(导入资产信息) private void button2_Click(object sender, EventArgs e) { OpenFileDialog openfilediaglog = new OpenFileDialog(); openfilediaglog.Filter = "xls文件|*.xls"; if (openfilediaglog.ShowDialog() == DialogResult.OK) { string str = Im