使用python,将excel数据批量导入数据库

  • 这是上一篇文章的优化版本,相较于一条一条的执行sql语句,本文中,将excel中所有的数据先写到list列表中
  • 在通过函数
    cursor.executemany(sql, list)

    一次性写入到数据库中

  • import pymysql
    import xlrd
    
    ‘‘‘
        连接数据库
        args:db_name(数据库名称)
        returns:db
    
    ‘‘‘
    def mysql_link(de_name):
        try:
            db = pymysql.connect(host="127.0.0.1", user="root",
                                 passwd="XXX",
                                 db=de_name,
                                 charset=‘utf8‘)
            return db
        except:
            print("could not connect to mysql server")
    
    ‘‘‘
        读取excel函数
        args:excel_file(excel文件,目录在py文件同目录)
        returns:book
    ‘‘‘
    def open_excel(excel_file):
        try:
            book = xlrd.open_workbook(excel_file)  #文件名,把文件与py文件放在同一目录下
            return book
        except:
            print("open excel file failed!")
    
    ‘‘‘
        执行插入操作
        args:db_name(数据库名称)
             table_name(表名称)
             excel_file(excel文件名,把文件与py文件放在同一目录下)
    
    ‘‘‘
    def store_to(db_name,table_name,excel_file):
        db = mysql_link(db_name)  # 打开数据库连接
        cursor = db.cursor()  # 使用 cursor() 方法创建一个游标对象 cursor
    
        book = open_excel(excel_file)   # 打开excel文件
        sheets = book.sheet_names()   # 获取所有sheet表名
        for sheet in sheets:
            sh = book.sheet_by_name(sheet)   # 打开每一张表
            row_num = sh.nrows
            print(row_num)
            list = []   # 定义列表用来存放数据
            for i in range(1, row_num):  # 第一行是标题名,对应表中的字段名所以应该从第二行开始,计算机以0开始计数,所以值是1
                row_data = sh.row_values(i)  # 按行获取excel的值
                value = (row_data[0], row_data[1],row_data[2],row_data[3],row_data[4],row_data[5],                     row_data[6],row_data[7],row_data[8],row_data[9],row_data[10],row_data[11],row_data[12],row_data[13],row_data[14])
                list.append(value)  # 将数据暂存在列表
                # print(i)
            sql = "INSERT INTO "+ table_name + " ( bj_shijian,bjr_xingbie,anfa_didian,            zb_x,zb_y,bj_chongfu,jiejing_lb_name,baojing_lb_name,baojing_lx_name,baojing_lx_xl_name,            guanxia_qy_name,guanxian_dw_name,anfa_qulu,anfa_xiaoqu,chujing_dw_name)VALUES(%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)"
            cursor.executemany(sql, list)  # 执行sql语句
            db.commit()  # 提交
            list.clear()  # 清空list
            print("worksheets: " + sheet + " has been inserted " + str(row_num) + " datas!")
        cursor.close()  # 关闭连接
        db.close()
    
    if __name__ == ‘__main__‘:
        store_to(‘demo‘,‘demo_yangben‘,‘qh.xlsx‘)
    

      可以选择传入的数据库,及数据库表名,excel文件名(excel文件和py文件同目录,否则加上路径)

  • 可以看上一篇文章来进行过渡。

原文地址:https://www.cnblogs.com/longbigbeard/p/9317141.html

时间: 2025-01-03 12:59:20

使用python,将excel数据批量导入数据库的相关文章

用java实现excel数据批量导入数据库

不管是做软件还是做网站,相信很多人在做的时候都要用到数据库,而数据库的数据从何而来呢,可以使手动添加的,但是大多数情况下我们使用的是已有的数据,我们想借助开发的工具管理目前已有的数据,如果是小量的数据,手动录入也无妨,但是对于大量数据呢,手动录入显然已经不显示,而且,更多的时候,我们呢想在软件上增加一个数据的批量导入,这样不管是谁在用这款软件,都可以方便的管理已有数据,那么我们最常用的数据管理器是什么呢,毫无疑问Excel,但是我们做软件是几乎没有人会使用Excel作为DB,所以我们遇到的问题就

java把excel数据批量导入到数据库

java把excel数据批量导入到数据库中,java导入excel数据代码如下 1.    public List<Choice> GetFromXls(String xlsname){ 2. 3.        List<Choice> choices = new ArrayList<Choice>(); 4.        Choice choice=null; 5.        try { 6.            java.io.File file=new

Excel数据批量导入到数据库

1.今天做批量导入网上找了个例子,改了改,运行起来了.用POI实现Excel的读取,需要jar包. 2.ReadExcel.java读取数据 /** * */ package com.b510.excel; import java.io.FileInputStream; import java.io.IOException; import java.io.InputStream; import java.util.ArrayList; import java.util.List; import

将Excel中的数据批量导入数据库表

private boolean import_to_database(String excel_path) throws BiffException, IOException, HsException{ File file = new File(excel_path);//根据文件名创建一个文件对象 Workbook wb = Workbook.getWorkbook(file);//从文件流中取得Excel工作区对象 Sheet sheet = wb.getSheet(0);//从工作区中取得

C# NPOI的数据批量导入数据库

public ActionResult Upload(HttpPostedFileBase Namefile)        {            //判断文件是否存在            if (Namefile == null)            {                return Content("没有文件");            }            //获取上传文件的名称,位置            var fileName = DateTime

excel十几万行数据快速导入数据库研究(转,下面那个方法看看还是可以的)

先贴原来的导入数据代码: 8 import os os.environ.setdefault("DJANGO_SETTINGS_MODULE", "www.settings") ''' Django 版本大于等于1.7的时候,需要加上下面两句 import django django.setup() 否则会抛出错误 django.core.exceptions.AppRegistryNotReady: Models aren't loaded yet. ''' im

[DJANGO] excel十几万行数据快速导入数据库研究

先贴原来的导入数据代码: 8 import os os.environ.setdefault("DJANGO_SETTINGS_MODULE", "www.settings") ''' Django 版本大于等于1.7的时候,需要加上下面两句 import django django.setup() 否则会抛出错误 django.core.exceptions.AppRegistryNotReady: Models aren't loaded yet. ''' im

c#如何将dataset中的数据批量导入oracle数据库

不要写insert语句,因为数据库字段太多了,有什么简单点的效率高的方法吗 public void MultiInsertData(DataSet ds) { string connt = "Oracle的连接字符串"; string sql = "select id,name,- from tablename";必须与ds中的一致 DataTable dt = ds.Defaults[0]; OracleConnection conn = new OracleCo

windows命令行下导入excel数据到SQLite数据库

1.转换文件格式,防止中文乱码:将excel保存成"CSV(逗号分隔)(*.csv)"格式,关闭文件,用记事本打开刚才保存的.csv文件,然后另存为UTF-8格式文本.需要注意的是,经过这样的转换,数字也全变成文本了. 2.通过adb shell(adb.exe存放在android开发软件安装文件夹中,如 F:\Develope\Tools\adt-bundle-windows-x86\sdk\platform-tools\)更改sqlite数据库的使用权限.运行adb之前要先打开AV