python 读取SQLServer数据插入到MongoDB数据库中

# -*- coding: utf-8 -*-
import pyodbc
import os
import csv
import pymongo
from pymongo import ASCENDING, DESCENDING
from pymongo import MongoClient
import binascii

‘‘‘连接mongoDB数据库‘‘‘
client = MongoClient(‘10.20.4.79‘, 27017)
#client = MongoClient(‘10.20.66.106‘, 27017)
db_name = ‘SoftADoutput‘
db = client[db_name]

‘‘‘连接SqlServer数据库‘‘‘
connStr = ‘DRIVER={SQL Server Native Client 11.0};SERVER=DESKTOP-44P34L6;DATABASE=Softput;UID=sa;PWD=sa‘
conn = pyodbc.connect(connStr)
cursor = conn.cursor()
#########################################Channel_CovCode数据插入##########################
‘‘‘从SQLServer数据库读取Channel_CovCode数据写入到mongodb数据库中Channel_CovCode集合中‘‘‘
def InsertChannel_CovCode(cursor):
  cursor.execute("select dm, ms from channel_CovCode")
  rows = cursor.fetchall()
  i = 1
  for row in rows:#gb18030
    db.channel_CovCode.insert({‘_id‘:i,‘dm‘:row.dm,‘ms‘:row.ms.decode(‘gbk‘).encode(‘utf-8‘)})
    i = i + 1

InsertChannel_CovCode(cursor)
#############################################################################################

#########################################channel_ModeCode数据插入#############################
‘‘‘从SQLServer数据库读取channel_ModeCode数据写入到mongodb数据库中channel_ModeCode集合中‘‘‘
def InsertChannel_ModeCode(cursor):
  cursor.execute("select dm, ms from channel_ModeCode")
  rows = cursor.fetchall()
  i = 1
  for row in rows:#gb18030
    db.channel_ModeCode.insert({‘_id‘:i,‘dm‘:row.dm,‘ms‘:row.ms.decode(‘gbk‘).encode(‘utf-8‘)})
    i = i + 1

InsertChannel_ModeCode(cursor)
#############################################################################################

#########################################citynumb数据插入########################
‘‘‘从SQLServer数据库读取citynumb数据写入到mongodb数据库中citynumb集合中‘‘‘
def InsertCitynumb(cursor):
  cursor.execute("select t.XZQMC,t.SMC,t.CSMC,t.SSQYDM,t.CITY_E,t.AREA_E,t.PROV_E from citynumb t")
  rows = cursor.fetchall()
  i = 1
  for row in rows:
    xzqmc = row.XZQMC
    if xzqmc != None:
      xzqmc = xzqmc.decode(‘gbk‘).encode(‘utf-8‘)

    smc = row.SMC
    if smc != None:
      smc = smc.decode(‘gbk‘).encode(‘utf-8‘)

    csmc = row.CSMC
    if csmc != None:
      csmc = csmc.decode(‘gbk‘).encode(‘utf-8‘)
    db.citynumb.insert({‘_id‘:i,‘XZQMC‘:xzqmc,‘SMC‘:smc,‘CSMC‘:csmc,‘SSQYDM‘:row.SSQYDM,‘CITY_E‘:row.CITY_E,‘AREA_E‘:row.AREA_E,‘PROV_E‘:row.PROV_E})
    i = i + 1

InsertCitynumb(cursor)
##################################################################################################################

#########################################channel数据插入############################
‘‘‘从SQLServer数据库读取channel数据写入到mongodb数据库中channel集合中‘‘‘
def InsertChannel(cursor):
  cursor.execute("select pdcmc,pdemc,pdemcj,pdbm1,ssqydm,cov,sdate,mode,startTime,endTime,memo,pdtype,sflag,edate,corporation from channel")
  rows = cursor.fetchall()
  i = 1
  for r in rows:
    pdcmc = r.pdcmc
    if pdcmc != None:
      pdcmc = pdcmc.decode(‘gbk‘).encode(‘utf-8‘)

    memo = r.memo
    if memo != None:
      memo = memo.decode(‘gbk‘).encode(‘utf-8‘)

    corporation = r.corporation
    if corporation != None:
      corporation = corporation.decode(‘gbk‘).encode(‘utf-8‘)
    db.channel.insert({‘_id‘:i,‘pdcmc‘:pdcmc,‘pdemc‘:r.pdemc,‘pdemcj‘:r.pdemcj,‘pdbm1‘:r.pdbm1,‘ssqydm‘:r.ssqydm,‘cov‘:r.cov,‘sdate‘:r.sdate,‘mode‘:r.mode,‘startTime‘:r.startTime,‘endTime‘:r.endTime,‘memo‘:memo,‘pdtype‘:r.pdtype,‘sflag‘:r.sflag,‘edate‘:r.edate,‘corporation‘:corporation})
    i = i + 1

InsertChannel(cursor)
#############################################################################################

#########################################CPBZK数据插入############################
‘‘‘从SQLServer数据库读取CPBZK数据写入到mongodb数据库中CPBZK集合中‘‘‘
def InsertCPBZK(cursor):
  cursor.execute("select ZTC,EZTC,ZTC_CODE,LBDM,B_CODE,QY_CODE,IChange,cla from CPBZK")
    rows = cursor.fetchall()
    i = 1
    for r in rows:#gb18030
      ztc = r.ZTC
      if ztc != None:
        ztc = ztc.decode(‘gbk‘).encode(‘utf-8‘)

      db.CPBZK.insert({‘_id‘:i,‘ZTC‘:ztc,‘EZTC‘:r.EZTC,‘ZTC_CODE‘:r.ZTC_CODE,‘LBDM‘:r.LBDM,‘B_CODE‘:r.B_CODE,‘QY_CODE‘:r.QY_CODE,‘IChange‘:r.IChange,‘cla‘:r.cla})
      i = i + 1

InsertCPBZK(cursor)
#############################################################################################

#########################################TVPGMCLASS数据插入##########################
‘‘‘从SQLServer数据库读取TVPGMCLASS数据写入到mongodb数据库中TVPGMCLASS集合中‘‘‘
def InsertTVPGMCLASS(cursor):
  cursor.execute("select ClassChDesc,ClassEnDesc,ClassCode,ParentCode,SortNo from TVPGMCLASS")
  rows = cursor.fetchall()
  i = 1
  for r in rows:#gb18030
    classChDesc = r.ClassChDesc
    if classChDesc != None:
      classChDesc = classChDesc.decode(‘gbk‘).encode(‘utf-8‘)
    db.TVPGMCLASS.insert({‘_id‘:i,‘ClassChDesc‘:classChDesc,‘ClassEnDesc‘:r.ClassEnDesc,‘ClassCode‘:r.ClassCode,

‘ParentCode‘:r.ParentCode,‘SortNo‘:r.SortNo})
    i = i + 1

InsertTVPGMCLASS(cursor)
#############################################################################################

 

#########################################GGBZK_DESCRIPTION数据插入###########################
‘‘‘从SQLServer数据库读取GGBZK_DESCRIPTION数据写入到mongodb数据库中GGBZK_DESCRIPTION集合中‘‘‘
def InsertGGBZK_DESCRIPTION(cursor):
  cursor.execute("select V_code,des_named,des_main,des_background,des_scene,des_words,ModifyFlag,UpdateDate from  GGBZK_DESCRIPTION")
  rows = cursor.fetchall()
  i = 1
  for r in rows:#gb18030
    name = r.des_named
    if name != None:
      name = name.decode(‘gbk‘).encode(‘utf-8‘)

    desmain = r.des_main
    if desmain != None:
      desmain = desmain.decode(‘gbk‘).encode(‘utf-8‘)

    background = r.des_background
    if background != None:
      background = background.decode(‘gbk‘).encode(‘utf-8‘)

    scene = r.des_scene
    if scene != None:
      scene = scene.decode(‘gbk‘).encode(‘utf-8‘)

    words = r.des_words
    if words != None:
      words = words.decode(‘gbk‘).encode(‘utf-8‘)
    db.GGBZK_DESCRIPTION.insert({‘_id‘:i,‘V_code‘:r.V_code,‘des_named‘:name,‘des_main‘:desmain,‘des_background‘:background,

‘des_scene‘:scene,‘des_words‘:words,‘ModifyFlag‘:r.ModifyFlag,‘UpdateDate‘:r.UpdateDate})
    i = i + 1

InsertGGBZK_DESCRIPTION(cursor)

#########################################Z201607_027数据插入##########################
‘‘‘从SQLServer数据库读取Z201607_027数据写入到mongodb数据库中Z201607_027集合中‘‘‘
def InsertZ201607_027(cursor):
  strSql = "select PD,RQ,SHIJIAN,ENDSHIJIAN,LBDM,ZTC_CODE,V_CODE,B_CODE,QY_CODE,QUANLITY,SPECIAL,LANGUAGE,LENGTH,SLENGTH,QJM1,QJM2,QGG,HJM1,HJM2,HGG,DUAN,OSHIJIAN,JG,SORTNO,LURU,ZFILE,COST,ROWTS,COST1,COST2,COST3 from Z201607_027"
  cursor.execute(strSql)
  rows = cursor.fetchall()
  i = 1
  for r in rows:#gb18030
    cost = float(r.COST)  #COST money类型
    cost1 = float(r.COST1)
    cost2 = float(r.COST2)
    cost3 = float(r.COST3)
    #先把时间戳转为字符串,然后再转为十进制数
    rowts = int(str(binascii.b2a_hex(r.ROWTS)),16)
    luru = r.LURU
    if luru != None:
      luru = luru.decode(‘gbk‘).encode(‘utf-8‘)

    vCODE = r.V_CODE
    if vCODE != None:
      vCODE = vCODE.decode(‘gbk‘).encode(‘utf-8‘)

    db.Z201607_027.insert({‘_id‘:i,‘PD‘:r.PD,‘RQ‘:r.RQ,‘SHIJIAN‘:r.SHIJIAN,‘ENDSHIJIAN‘:r.ENDSHIJIAN,‘LBDM‘:r.LBDM,

‘ZTC_CODE‘:r.ZTC_CODE,‘V_CODE‘:vCODE,‘B_CODE‘:r.B_CODE,‘QY_CODE‘:r.QY_CODE,‘QUANLITY‘:r.QUANLITY,
‘SPECIAL‘:r.SPECIAL,‘LANGUAGE‘:r.LANGUAGE,‘LENGTH‘:r.LENGTH,‘SLENGTH‘:r.SLENGTH,‘QJM1‘:r.QJM1,‘QJM2‘:r.QJM2,‘QGG‘:r.QGG,‘HJM1‘:r.HJM1,‘HJM2‘:r.HJM2,‘HGG‘:r.HGG,‘DUAN‘:r.DUAN,‘OSHIJIAN‘:r.OSHIJIAN,‘JG‘:r.JG,‘SORTNO‘:r.SORTNO,‘LURU‘:luru,‘ZFILE‘:r.ZFILE,
‘COST‘:cost,‘ROWTS‘:rowts,‘ExpandProperty‘:‘‘,‘COST1‘:cost1,‘COST2‘:cost2,‘COST3‘:cost3})
  
    i = i + 1

InsertZ201607_027(cursor)
#############################################################################################

时间: 2024-10-13 16:13:49

python 读取SQLServer数据插入到MongoDB数据库中的相关文章

python爬取数据并保存到数据库中(第一次练手完整代码)

1.首先,下载需要的模块requests, BeautifulSoup, datetime, pymysql(注意,因为我用的python3.7,不支持mysqldb了),具体的下载方法有pip下载,或者使用Anaconda版本python的童鞋可以使用conda下载. 2.创建conndb,py,包含数据库的连接断开,增删改查等操作: #!/usr/bin/env python # -*- coding:utf-8 -*- import pymysql def conn_db(): # 连接数

python 读取excel数据插入到另外一个excel

#-*-coding:utf-8-*- import xlrd import xlwt def excel_copy(dir_from, dir_to, sheet_name): '''从一个excel写入到另外一个excel''' wb = xlrd.open_workbook(dir_from) # 选择sheet页 sheet1 = wb.sheet_by_index(0) # 打印每个sheet页的行数 # print("sheet1行数:%d" % sheet1.nrows)

mongodb数据库中插入数据

一:connection 访问集合: 在mongodb数据库中,数据是存储在许多数据集合中,可以使用数据库对象的collection方法访问一个集合.该方法使用如下: db.collection(collectionName, [options], [callback]); collectionName参数值是一个字符串,用于指定需要访问的集合名,该参数是必须填写的.options参数值为一个对象,用于指定访问该集合时使用的选项,使用的属性可以百度搜索下,选项比较多,用到的时候可以查下.call

在MongoDB数据库中查询数据(上)

在MongoDB数据库中,可以使用Collection对象的find方法从一个集合中查询多个数据文档,find方法使用方法如下所示: collection.find(selector, [options]); selector值为一个对象,用于指定查询时使用的查询条件,options是可选的参数,该参数值是一个对象,用于指定查询数据时所选用的选项. find方法返回一个代表游标的Cursor对象,在该游标中包含了所有查询到的数据文档信息.可以使用Cursor对象的toArray方法获取所有查询到

MongoDB数据库中更新与删除数据

在MongoDB数据库中,可以使用Collection对象的update方法更新集合中的数据文档.使用方法如下所示: collection.update(selector, document, [options], [callback]); selector参数:该参数值为一个对象,用于查询需要更新的数据文档.该参数值指定的方法和我们前面使用的find方法中使用的selector参数值的指定方法完全相同. document参数:该参数值为一个对象,用于指定用来更新的数据文档. options参数

NPOI操作excel——利用反射机制,NPOI读取excel数据准确映射到数据库字段

> 其实需求很明确,就是一大堆不一样的excel,每张excel对应数据库的一张表,我们需要提供用户上传excel,我们解析数据入库的功能实现. 那么,这就涉及到一个问题:我们可以读出excel的表头,但是怎么知道每个表头具体对应数据库里面的字段呢? 博主经过一段时间的思考与构思,想到一法:现在的情况是我们有excel表A,对应数据库表B,但是A与B具体属性字段的映射关系我们不知.那我们是不是可以有一个A到B的映射文件C呢? 我想,说到这,大家就很明了了... 第一步:为每张excel创建一个与

超简单Python将指定数据插入到docx模板指定位置渲染并保存

超简单Python将指定数据插入到docx模板渲染并生成 最近有一个需求,制作劳动合同表,要从excel表格中将每个人的数据导入到docx劳动合同中,重复量很大,因此可以使用python高效解决.为了让模板内容不变动,这里使用了类似jinja2的渲染引擎,使用{{ }}插值表达式把数据插入进去.也可以使用{% %}循环,条件语法等. docx模板如下(在需要插值的位置填充 {{}} 表达式): 首先安装docxtpl $ pip install docxtpl python代码如下: from

使用redis作为缓存,数据还需要存入数据库中吗?(转)

转自https://blog.csdn.net/wypersist/article/details/79955704 使用redis作为缓存,数据还需要存入数据库中吗? 我的答案是: 1redis只是缓存,不是数据库如mysql,所以redis中有的数据库,mysql中一定有. 2用户请求先去请求redis,如果没有,再去数据库中去读取. 3redis中缓存一些请求量比较大的数据(这些缓存数据,mysql中一定也是有的),没必要所有数据都缓存到redis中. 5之所以从缓存中拿数据会快,是因为缓

将 text 文件里的数据导入到 mysql 数据库中

如题,将 text 文件里的数据导入到 mysql 数据库中. 我自己具体的实现可以分为几种了: 1.写你擅长的程序设计语言 进行读写文件,然后连接数据库,进行写入: 2.在 mysql 里直接进行运行 sql 脚本语句,进行导入. 第一个现在就不再说了,简单. 现在就说说怎么直接将 .text 文件利用 sql 语句 进行导入. 1.首先在数据库中新建一个表(这里的表至少要和 你数据里的字段进行匹配,即一行存在的字段数): 2.运行sql脚本语句: 比如: 你的文件为 D:/field.txt