csv文件数据导出到mongo数据库

from pymongo import MongoClientimport csv# 创建连接MongoDB数据库函数def connection():    # 1:连接本地MongoDB数据库服务    conn=MongoClient("localhost",27017)    # 2:连接本地数据库(guazidata)。没有时会自动创建    db=conn.python    # 3:创建集合    set1=db.data    # 4:授权    db.authenticate(name=‘zhaochuan‘, password=‘123456‘, source=‘admin‘)    return set1def insertToMongoDB(set1):    # 打开文件 xxx.csv    with open(‘taset.csv‘,‘r‘,encoding=‘utf-8‘)as csvfile:        # 调用csv中的DictReader函数直接获取数据为字典形式        reader=csv.DictReader(csvfile)        # 创建一个counts计数一下 看自己一共添加了了多少条数据        counts=0        for each in reader:            # 将数据中需要转换类型的数据转换类型。原本全是字符串(string)。            each[‘name‘]=str(each[‘name‘])            each[‘price‘]=float(each[‘price‘])            each[‘count‘]=float(each[‘count‘])            set1.insert(each)            counts+=1            print(‘成功添加了‘+str(counts)+‘条数据 ‘)# 创建主函数def main():    set1=connection()    insertToMongoDB(set1)# 判断是不是调用的main函数。这样以后调用的时候就可以防止不会多次调用 或者函数调用错误if __name__==‘__main__‘:    main()



读取mongo数据库,写入csv文件
import pymongofrom pandas import DataFrame

#连接数据库client = pymongo.MongoClient(‘localhost‘,27017)db = client[‘python‘]# 授权db.authenticate(name=‘zhaochuan‘,password=‘123456‘,source=‘admin‘)info = db[‘zhao‘]#加载数据data = DataFrame(list(info.find()))# 写入CSV文件data.to_csv(‘NBA.csv‘)


原文地址:https://www.cnblogs.com/Zhchan/p/11218191.html

时间: 2024-11-07 06:34:41

csv文件数据导出到mongo数据库的相关文章

使用bash将csv文件数据读写到MySQL数据库的脚本之一

情景: 有一个包含多个系的学生详细信息的csv文件,需要将文件的内容插入到一个数据表中,保证每一个系生成一个单独的排名列表. 学习信息表 studentdata.csv 文件的数据如下: 1,Navin M,98,CS 2,Kavya N,70,CS 3,Nawaz O,80,CS 4,Hari S,80,EC 5,Alex M,50,EC 6,Neenu J,70,EC 7,Bob A,30,EC 8,Anu M,90,AE 9,Sruthi,89,AE 10,Andrew,89,AE 脚本思

所经历的大文件数据导出(后台执行,自动生成)

所经历的大文件数据导出(后台执行,自动生成) http://www.cnblogs.com/fanfan259/p/4710019.html 阅读目录 一.前言 二.生成excel文件 三.让程序在后台执行 四.显示文件生成进度 五.下载文件 六.上线后出现的问题 七.相应的后续优化 八.后记 一.前言 记录一下以前做的后台excel格式导出统计信息的功能,也是最近同事问到了相关东西,一时之间竟忘了具体的细节,因此记录一下: 大家知道,excel导出数据的功能,后台几乎是必须功能,一般都是点击后

csv文件或者excel表格导入数据库

 将csv文件或者excel表格导入数据库的方法: Excel数据直接导入mysql会需要用到phpexcel开源类,详情使用可以参考这篇文章~ http://www.cnblogs.com/freespider/p/3284828.html 本文使用的方法是: Excel ——> CSV——>MySql 首先将excel另存为csv文件,然后开始分析数据. 代码如下: 1 <span style="font-size:18px;"><?PHP 2 //将

C语言进行csv文件数据的读取

C语言进行csv文件数据的读取: #include <stdio.h> #include <string.h> #include <malloc.h> #include <stdlib.h> #include <math.h> int main(){ FILE *fp = NULL; char *line,*record; char buffer[20450];//20450这个数组大小也要根据自己文件的列数进行相应修改. if((fp = fo

MongoDB csv文件导入导出

1.导出到csv文件: 2.从csv导入: 数据经过csv导出导入,有一个非常隐蔽的问题,编写代码时需要注意: 先导入一条数据: 其中Price是double类型: 然后我把该条记录导出到Demo.csv,并且从数据库删除该条记录,然后再从Demo.csv导入该条记录: 再来看此时数据库中该条记录: 发现Price数值原本double型66.000000自动变成了Int32型66. 这时问题出现了,你如果还是用bson_iter_double(&iter)去取Price字段时,就会取不到值: 只

将 node.js 的数据保存到 mongo 数据库中

Mongo 数据库 安装 首先到 Mongo 的官方网站下载安装程序:http://www.mongodb.org/,我下载的文件名为:mongodb-win32-x86_64-2008plus-2.6.4-signed.msi 执行安装程序. 下一步 同意许可协议 可以选择定制 Custom 看一下. 全部装上吧. 开始实际安装. MongoDB 默认安装到了 C:\Program Files\MongoDB 2.6 Standard\bin 目录下,但是,没有自动添加到 Path 路径中,手

【转】Java操作CSV文件导入导出

特别提示:本人博客部分有参考网络其他博客,但均是本人亲手编写过并验证通过.如发现博客有错误,请及时提出以免误导其他人,谢谢!欢迎转载,但记得标明文章出处:http://www.cnblogs.com/mao2080/ 1 public class CSVUtils { 2 3 /** 4 * 5 * 描述:导出 6 * @author [email protected] 7 * @created 2017年8月26日 下午2:39:13 8 * @since 9 * @param file cs

分批次读取csv文件,并保存到数据库

读取上百万行的csv文件,由于数据量太大,一次性将csv的内容读取出来,保存在内存中,会导致内存严重吃不消,最后直接宕机,所以建议采取分批次读数据然后保存数据库中,以下是简单测试方法,可根据具体需求做修改.对大批量数据的操作,建议用jdbc直接批量添加,修改,删除等操作. import java.util.List;import java.io.BufferedReader;import java.io.File;import java.io.FileNotFoundException;impo

PHP csv大量数据导出分割处理

后台管理系统总是成百万的数据导出,使用excel导出根本不能实现,excel只支持65536,2007和2010的是1048576,所以无论哪一种都不能满足需求,csv就符合需求,不限制记录的条数,但是大量数据如果一次性处理导出,会直接导致内存溢出,脚本停止工作,所有采用分割方式导出是比较有好处的. <?php error_reporting(0); header ( "Content-type:application/vnd.ms-excel" ); header ( &quo