python-pandas读取mongodb、读取csv文件

续上一篇博客(‘’selenium爬取NBA并将数据存储到MongoDB‘)https://www.cnblogs.com/lutt/p/10810581.html

本篇的内容是将存储到mongo的数据用pandas读取出来,存到CSV文件,然后pandas读取CSV文件。

其中mongo的操作涉及到授权的问题:

如果遇到报错关于authenticate的,需要加授权,用时需要将各参数换成自己的
#导入相应的包
import pymongo
import pandas as pd
from pandas import Series,DataFrame
#连接数据库
client = pymongo.MongoClient(‘localhost‘,27017)
db = client[‘python‘]# 授权
db.authenticate(name=‘lu‘,password=‘123456‘,source=‘admin‘)
info = db[‘NBA‘]
#加载数据
data = DataFrame(list(info.find()))
print(data)
# 写入CSV文件
data.to_csv(‘NBA.csv‘)

import csv
import pandas as pd
from matplotlib import pyplot as plt
filename = ‘NBA.csv‘
with open(filename,encoding=‘UTF-8‘) as f:
    data = pd.read_csv(f)
    # team = data[‘team队伍‘]
    p3 = data[‘p3三分球命中次数‘]
    p3a = data[‘p3a三分球投射次数‘]
    p2 = data[‘p2二分球命中次数‘]
    p2a = data[‘p2a三分球投射次数‘]

原文地址:https://www.cnblogs.com/lutt/p/10810639.html

时间: 2024-11-02 18:59:53

python-pandas读取mongodb、读取csv文件的相关文章

PHP 读取和导出 CSV文件

PHP 读取和导出 CSV文件,速度比phpexcel快80%,而phpexcel 占内存,在数据大的情况下,5万条只需几秒不到,几乎感觉不出来 如果遇到数字是科学计算法,可以在前面加一个 ' 单引号 /** * 读取CSV文件 * @param string $csv_file csv文件路径 * @param int $lines 读取行数 * @param int $offset 起始行数 * @return array|bool */ public function read_csv_l

用PHP读取Excel、CSV文件

PHP读取excel.csv文件的库有很多,但用的比较多的有: PHPOffice/PHPExcel.PHPOffice/PhpSpreadsheet,现在PHPExcel已经不再维护了,最新的一次提交还是在2017年12月25号,建议直接使用PhpSpreadsheet,而且这两个项目都是同一个组织维护的,本文介绍PhpSpreadsheet的使用. 介绍PhpSpreadsheet PhpSpreadsheet这个库是纯PHP写的,提供了非常丰富的类和方法,而且支持很多文件格式: 环境要求

python读取和写入csv文件

----------------python读取csv文件------------------ #导入csv 创建一个csv文件,输入内容 import csv #1.找到需要被打开的文件路径,通过open打开文件,声明打开的方式,声明编码格式 csv_file=open(r'csv文件路径', mode='r', encoding='utf-8') #2.通过csv模组提供的读取方法来读取打开的文件 csv_data=csv.reader(csv_file) #3.通过for循环遍历读取数据存

python读取并写入csv文件

新建csvData.csv文件 1 import csv 2 3 # 读取csv文件方式1 4 csvFile = open("csvData.csv", "r") 5 reader = csv.reader(csvFile) # 返回的是迭代类型 6 data = [] 7 for item in reader: 8 print(item) 9 data.append(item) 10 11 print(data) 12 csvFile.close() 13 14

python之读取和写入csv文件

写入csv文件源码: 1 #输出数据写入CSV文件 2 import csv 3 data = [ 4 ("Mike", "male", 24), 5 ("Lee", "male", 26), 6 ("Joy", "female", 22) 7 ] 8 9 #Python3.4以后的新方式,解决空行问题 10 with open('d://write.csv', 'w', newline

python读取两个csv文件数据,进行查找匹配出现次数

现有需求 表1 表2 需要拿表1中的编码去表2中的门票编码列匹配,统计出现的次数,由于表2编码列是区域间,而且列不是固定的,代码如下 #encoding:utf-8 ##导入两个CSV进行比对 import csv ##读取编码 def GetQrCode(filePath): #定义一个空的list集合 list = set() csv_file = csv.reader(open(filePath, 'r')) for item in csv_file: # 判断字符串是否为纯数字 if (

python mongodb 读写CSV文件

# -*- coding: utf-8 -*-import osimport csvimport pymongofrom pymongo import MongoClient #建立连接client = MongoClient('10.20.4.79', 27017)#client = MongoClient('10.20.66.106', 27017)db_name = 'ta' #数据库名db = client[db_name] #读取CVS文件并插入到mongoDB数据库 的tvsplst

Spark1.x和2.x如何读取和写入csv文件

看很多资料,很少有讲怎么去操作读写csv文件的,我也查了一些.很多博客都是很老的方法,还有好多转来转去的,复制粘贴都不能看.下面我在这里归纳一下,以免以后用到时再费时间去查 通过sc.textFile val input = sc.textFile("test.csv") val result = input.map { line => val reader = new CSVReader(new StringReader(line)); reader.readNext() }

python用pandas工具包来处理.csv文件,包括读写和切片

csv是Comma-Separated Values的缩写,是用文本文件形式储存的表格数据.我们用python处理.csv文件时,发现用pandas工具包比csv工具包要方便很多,下面介绍一下一些基本的操作,如读写(read, write)和切片(slice). 写(write)操作: import pandas as pd # 每个列表表示csv文件里面的一列a = [1, 2, 3]b = [4, 5, 6]c = [7, 8, 9] # 字典中的key值就是csv中的列名csv_file

[cocos2dx utils] cocos2dx读取,解析csv文件

在我们的游戏中,经常需要将策划的数值配置成csv文件,所以解析csv文件就是一个很common的logic, 例如如下csv文件: 下面是一个基于cocos2dx 2.2.4的实现类: #ifndef __Cell__GCCsvHelper__ #define __Cell__GCCsvHelper__ #include <iostream> #include "cocos2d.h" #include <vector> USING_NS_CC; class GC