用python导入mysql

#coding: utf-8
‘‘‘
@2016/04/13:
    To load raw-data.csv into db.
    Data is from Citeulike.
‘‘‘
import re
import mysql.connector

def main():
    # directory on iiot‘s server
    infile = open(‘./raw-data.csv‘,‘r‘)
    outfile = open(‘./error.txt‘,‘a+‘)

    #database on iiot‘s server
    cnx = mysql.connector.connect(user=‘ ‘,password=‘ ‘,
                                  host = ‘ ‘,port =  ,
                                  db=‘ ‘)
    cursor = cnx.cursor()
    insert_query = ‘insert into article values (%s,%s,%s,%s,%s)‘
    for read in infile:
        # 1       2        3             4           5
        # doc.id,"title","citeulike.id","raw.title","raw.abstract"
        try:
            res = re.search(‘(\d*),"(.*)",(\d*),"(.*)","(.*)"‘,read)
            print res.group(1)
            data = (res.group(1),res.group(2),res.group(3),res.group(4),res.group(5))
            cursor.execute(insert_query,data)
            cnx.commit()
        except Exception,e:
            outfile.write(str(e)+‘\n‘+read+‘\n‘)

if __name__==‘__main__‘:
    main()

把.csv文件导入mysql,.csv文件以‘,‘分隔,在每一项字符串中含有‘,‘ 不能用load data local infile .. fields terminated by ‘,‘,否则字符串被截断。

用re

时间: 2024-10-23 11:45:18

用python导入mysql的相关文章

python学习笔记(十五) - python连接mysql数据库

一. 安装mysql驱动: 由于mysql服务器以独立的进程运行,并通过网络对外服务,所以,需要支持python的mysql驱动来连接mysql服务器. 安装驱动:easy_install mysql-connector-python 二. 连接数据库: 下面演示使用python代码连接mysql: #!/usr/bin/env python # -*- coding: utf-8 -*- # utility @ Python # 导入MySQL驱动: import mysql.connecto

Python将JSON格式数据转换为SQL语句以便导入MySQL数据库

前文中我们把网络爬虫爬取的数据保存为JSON格式,但为了能够更方便地处理数据,我们希望把这些数据导入到MySQL数据库中.phpMyadmin可以把MySQL数据库中的数据导出为JSON格式文件,但却不能把JSON格式文件导入到MySQL数据库.为了实现这个目标,可以编写Python脚本将JSON格式数据转换为SQL语句以便导入MySQL数据库. JSON文件tencent.json部分内容: {"recruitNumber": "1", "name&qu

[Python]将Excel文件中的数据导入MySQL

Github Link 需求 现有2000+文件夹,每个文件夹下有若干excel文件,现在要将这些excel文件中的数据导入mysql. 每个excel文件的第一行是无效数据. 除了excel文件中已有的数据,还要添加一列,名为“at_company”,值为821. 流程 (1)获取excel文件列表,并根据excel文件名确定之后需要创建的table名: (2)连接mysql (3)创建table (4)插入数据 (5)断开连接 依赖模块 1. xlrd # to read excel fil

python使用mysql数据库

一,安装mysql 如果是windows 用户,mysql 的安装非常简单,直接下载安装文件,双击安装文件一步一步进行操作即可. Linux 下的安装可能会更加简单,除了下载安装包进行安装外,一般的linux 仓库中都会有mysql ,我们只需要通过一个命令就可以下载安装: Ubuntu\deepin >>sudo apt-get install mysql-server >>Sudo apt-get install  mysql-client centOS/redhat >

Python&MySQL

环境:windows8+Python2.7+MySQL5.6 尝试过在C/C++中嵌入SQL语言,最终在其复杂"繁琐"环境配置中败下阵来,后来发现Python和MySQL比較easy实现,在Python中能够导入MySQLdb包.调用已经封装好的API接口,就能在Python中嵌入SQL语句.实现对数据库的操作: Python调用MySQLdb库函数,首先建立和MySQL数据库连接connection.定义一个游标cursor.就能向DBMS传输一条条SQL语句,交给DBMS运行.随后

使用python操作mysql数据库

这是我之前使用mysql时用到的一些库及开发的工具,这里记录下,也方便我查阅. python版本: 2.7.13 mysql版本: 5.5.36 几个python库 1.mysql-connector-python 是MySQL官方的Python驱动 https://dev.mysql.com/doc/connector-python/en/ 安装: pip install mysql-connector 示例代码: https://github.com/mike-zhang/pyExample

Python操作Mysql基础教程

Python操作Mysql 最近在学习python,这种脚本语言毫无疑问的会跟数据库产生关联,因此这里介绍一下如何使用python操作mysql数据库.我python也是零基础学起,所以本篇博客针对的是python初学者,大牛可以选择绕道. 另外,本篇博客基于的环境是Ubuntu13.10,使用的python版本是2.7.5. MYSQL数据库 MYSQL是一个全球领先的开源数据库管理系统.它是一个支持多用户.多线程的数据库管理系统,与Apache.PHP.Linux共同组成LAMP平台,在we

mysql安装和mysql图形界面安装以及文本文件导入mysql

本人大一大二一直使用windows系统,被微软爸爸给惯坏了,一看到cmd命令行就吓尿.现在用ubuntu,每一个操作都是语句,也是得到锻炼(个jb). ubuntu安装mysql和python代码 sudo apt-get install Python-setuptools sudo apt-get install libmysqld-dev sudo apt-get install libmysqlclient-dev sudo apt-get install MySQL-server sud

python基础教程学习笔记---(7)python操作mysql

1.基本介绍: python标准数据库接口为python DB-API,它为开发人员提供了数据库应用编程接口,可以支持mysql.Oracle.MSSQL.Sybase等多种数据库,不同的数据库需要下载不同的DB-API模块. DBI-API是一个规范,它定义了一系列必须的对象和数据库存取方式,以便为各种各样的底层数据库系统和多种多样的数据库接口程序提供一致的访问接口. python DB-API的使用流程是: ①引入API模块:②获取与数据库的连接:③执行SQL语句:④关闭数据库连接. 2.什