python mongodb 读写CSV文件

# -*- coding: utf-8 -*-
import os
import csv
import pymongo
from pymongo import MongoClient

#建立连接
client = MongoClient(‘10.20.4.79‘, 27017)
#client = MongoClient(‘10.20.66.106‘, 27017)
db_name = ‘ta‘ #数据库名
db = client[db_name]

#读取CVS文件并插入到mongoDB数据库 的tvsplst集合中
def InsertDataFromCVS(csvFile):
  strFile = unicode(csvFile,‘utf8‘)
  if os.path.isfile(strFile):
    readFile = file(strFile, ‘rb‘)
    reader = csv.reader(readFile)
    i = 0
    listKey =[]
    sqlDict = {}
    for line in reader:
      i = i + 1
      sqlDict.clear()
      if i == 1:
        for it in line:
          if it == ‘PlstID‘:
            listKey.append(‘_id‘)
          else:
            listKey.append(it)
      else :
        j = 0
        for it in line:
          sqlDict[listKey[j]] = it.decode(‘gbk‘)
          j = j + 1

        try:
          db.tvsplst.insert(sqlDict)
        except:
          print i,sqlDict
    readFile.close()

#测试代码
strcsvFile=‘D:\\TVSPlst.csv‘
InsertDataFromCVS(strcsvFile)

#从mongoDB数据库中读取tvsplst数据写到CSV文件里面
def WriteTvsPlsttoCsv(csvFile):
  strFile = unicode(csvFile,‘utf8‘)
  headList =[‘PlstID‘, ‘MediaID‘, ‘PlstDate‘, ‘Hard_STime‘]
  writer = csv.writer(file(strFile, ‘wb‘))
  writer.writerow(headList)
  headList[0]=‘_id‘

  for u in db.tvsplst.find():
    vList = []
    for k in headList:
      vList.append(u[k].encode(‘utf8‘))
      writer.writerow(vList)

#测试代码
csvfile = ‘D:\\test.csv‘
WriteTvsPlsttoCsv(csvfile)

时间: 2024-07-28 15:14:52

python mongodb 读写CSV文件的相关文章

用opencsv文件读写CSV文件

首先明白csv文件长啥样儿: 用excel打开就变成表格了,看不到细节 推荐用其它简单粗暴一点儿的编辑器,比如Notepad++, csv文件内容如下: csv文件默认用逗号分隔各列. 有了基础的了解就进入主题,用Opencsv读写csv文件 读:CSVReader 写:CSVWriter 下面分别来看一下opencsv为我们提供的方法(这里只介绍最常用的几个): 读:CSVReader 构造器中涉及三个参数: reader:就是读取文件的流对象,常用的有BufferedReader,Input

python3使用csv模块读写csv文件

python3使用csv模块读写csv文件 读取csv文件: import csv #打开文件,用with打开可以不用去特意关闭file了,python3不支持file()打开文件,只能用open() with open("XXX.csv","r",encoding="utf-8") as csvfile: #读取csv文件,返回的是迭代类型 read = csv.reader(csvfile) for i in read: print(i) 存

Python批量处理CSV文件

#encoding: utf-8 __author__ = 'DELL' import csv import glob import datetime import sys import os reload(sys) #中文错误 sys.setdefaultencoding( "utf-8" ) ''' @author likehua CSV批处理 ''' class BatchProcessCSV: def __init__(self,inputfolder="c:\\in

Python 中读取csv文件中有中文的情况

Python 中读取csv文件中有中文的情况,提示编码问题: 读取的时候: import sys reload(sys) #中文错误 sys.setdefaultencoding( "utf-8" ) save 存储的时候: dataframe可以使用to_csv方法方便地导出到csv文件中,如果数据中含有中文,一般encoding指定为"utf-8″,否则导出时程序会因为不能识别相应的字符串而抛出异常,index指定为False表示不用导出dataframe的index数据

利用JavaCSV API来读写csv文件

http://blog.csdn.net/loongshawn/article/details/53423121 http://javacsv.sourceforge.net/ 转载请注明来源-作者@loongshawn:http://blog.csdn.net/loongshawn/article/details/53423121 1 背景 CSV文件的读写其实是有很多方法的,在这里介绍一种利用第三方jar包来读写CSV文件的方法. 日常工作中,如果有现成的第三方工具包,咱最好还是用现成的,有

C/C++读写csv文件

博客转载自:http://blog.csdn.net/u012234115/article/details/64465398 C++ 读写CSV文件,注意一下格式即可 #include <iostream> #include <string> #include <vector> #include <fstream> #include <sstream> using namespace std; int main() { // 写文件 ofstre

java读写CSV文件

java读写CSV文件 觉得有用的话,欢迎一起讨论相互学习~Follow Me 参考文献 读取csv文件中数据 将数据保存为csv文件格式 读取CSV文件中的数据 import java.io.*; import java.util.ArrayList; import java.util.StringTokenizer; public class readCSV { void readCSV(String readpath, ArrayList Nolist, ArrayList Dnalist

如何通过 JavaCSV 类库来优雅地(偷懒)读写 CSV 文件?

欢迎关注笔者的公众号: 小哈学Java, 专注于推送 Java 领域优质干货文章!! 个人博客: https://www.exception.site/essay/how-to-create-read-csv-by-javacsv 一.背景 小哈公司最近准备开发一套新的平台,具体什么平台,因为涉密,这里就不透露了.平台在最终的的技术选型中,其中主要依赖的技术栈是 Apache Flink, 一款 Apache 基金会开源的流处理框架,平台的核心业务都会交给 Flink 去处理,其中包括离线批量任

python读写csv文件

python自带有csv模块,如果想了解更详细的内容,可以参考官方文档 一.读操作 不知道为什么,要是打开文件时不使用'b'模式,就会有隔行出现,所以,在windows中想要正常操作csv文件,就加上b模式.delimiter来指定reader各个域之间的分隔符. def readData(): with open('csvFile.csv','rb') as fobj: csvFileReader = csv.reader(fobj,delimiter='-'); header = next(