python实现将excel数据添加到mongodb

利用pymongo包进行数据库的连接

使用xlrd包读取excel数据,由于二者数据结构的不同,要将excel格式数据转换为json格式数据

由于编码问题会出现“TypeError: ‘str‘ object does not support item assignment

要利用json.loads方法对数据进行解码

#coding=utf-8

import xlrd
import sys
import json
import pymongo
from pymongo import MongoClient

#连接数据库
client=MongoClient(‘localhost‘,27017)
db=client.scrapy
account=db.weibo

data=xlrd.open_workbook(‘test.xlsx‘)
table=data.sheets()[0]
#读取excel第一行数据作为存入mongodb的字段名
rowstag=table.row_values(0)
nrows=table.nrows
#ncols=table.ncols
#print rows
returnData={}
for i in range(1,nrows):
    #将字段名和excel数据存储为字典形式,并转换为json格式
    returnData[i]=json.dumps(dict(zip(rowstag,table.row_values(i))))
    #通过编解码还原数据
    returnData[i]=json.loads(returnData[i])
    #print returnData[i]
    account.insert(returnData[i])
时间: 2024-10-08 10:29:14

python实现将excel数据添加到mongodb的相关文章

Delphi中使用python脚本读取Excel数据

Delphi中使用python脚本读取Excel数据2007-10-18 17:28:22标签:Delphi Excel python原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 .作者信息和本声明.否则将追究法律责任.http://seewind.blog.51cto.com/249547/46669前段时间,在正式项目中使用Python来读取Excel表格的数据.具体需求是,项目数据库中有些数据需要根据Excel表格里面的数据进行一些调整,功能应该比较简单.为了学习Pyth

用 python实现简单EXCEL数据统计

任务: 用python时间简单的统计任务-统计男性和女性分别有多少人. 用到的物料:xlrd 它的作用-读取excel表数据 代码: import xlrd workbook = xlrd.open_workbook('demo.xlsx') #打开excel数据表 SheetList = workbook.sheet_names()#读取电子表到列表 SheetName = SheetList[0]#读取第一个电子表的名称 Sheet1 = workbook.sheet_by_index(0)

python读写操作excel数据

'''今天教务老师给我发来了一堆excel表 需要我处理一些数据都是一些基础的数据,这是今年来同济参加夏令营的申请材料在我按部就班的处理了几个之后,觉得这样处理实在是效率太低下了,于是我就写了下面这个程序,用python代码来批量化处理excel数据 首先 ,本科学校级别不同,985 211 会有不同的加分,所有我们要筛选匹配出所有人的本科学校,进行匹配 '''###首先建立985学校名单列表school_985 = ['清华大学','北京大学','厦门大学','天津大学', '中国科学技术大学

python读写操作excel数据小应用

'''今天教务老师给我发来了一堆excel表 需要我处理一些数据都是一些基础的数据,这是今年来同济参加夏令营的申请材料在我按部就班的处理了几个之后,觉得这样处理实在是效率太低下了,于是我就写了下面这个程序,用python代码来批量化处理excel数据 首先 ,本科学校级别不同,985 211 会有不同的加分,所有我们要筛选匹配出所有人的本科学校,进行匹配 '''###首先建立985学校名单列表school_985 = ['清华大学','北京大学','厦门大学','天津大学', '中国科学技术大学

selenium+python自动化测试--读取excel数据

1.excel中数据(注意:数据是纯数字时,要将其设置成文本) 2.读取excel文件函数封装 文件名称:read_excel.py import xlrd class ReadExcel(): def __init__(self, excelPath, sheetName="Sheet1"): self.data = xlrd.open_workbook(excelPath) self.table = self.data.sheet_by_name(sheetName) # 获取第一

使用python,将excel数据批量导入数据库

这是上一篇文章的优化版本,相较于一条一条的执行sql语句,本文中,将excel中所有的数据先写到list列表中 在通过函数 cursor.executemany(sql, list) 一次性写入到数据库中 import pymysql import xlrd ''' 连接数据库 args:db_name(数据库名称) returns:db ''' def mysql_link(de_name): try: db = pymysql.connect(host="127.0.0.1", u

python 连接mongodb ,并将EXCEL文档导入mongodb

一.下载软件 1.https://pypi.python.org/pypi/pymongo/#downloads  下载 PYMONGO 下载后 用命令提示符  cmd进入目录 并运行命令 python setup.py install 2.下载 xlrd  https://pypi.python.org/pypi/xlrd 利用pymongo包进行数据库的连接,使用xlrd包读取excel数据,由于二者数据结构的不同,要将excel格式数据转换为json格式数据.由于编码问题会出现"TypeE

Python安装和操作EXCEL数据

一.windows下面安装Python 1.安装Python 选择的版本是3.5.2版本.windows下面的Python安装一般是通过软件安装包安装而不是命令行,所以首先要在Python的官方主页上面下载最新的Python安装包.下载地址是:https://www.python.org/downloads/ 下载好后,解压到文件夹中,一直点击下一步就OK了.在安装完成之后,打开控制台,输入“Python”,我们能够看到下面的效果: 因为python.exe文件在 Python 目录下,我们还没

Python合并多个Excel数据

安装模块 1.找到对应的模块  http://www.python-excel.org/ 2.用pip install 安装 pip install xlrdpip install XlsxWriter pip list查看 XlsxWriter示例 1 import xlsxwriter 2 3 # 创建一个工作簿并添加一个工作表 4 workbook = xlsxwriter.Workbook("demo.xlsx") 5 worksheet = workbook.add_work