Python 数据清洗--处理Nan

参考:http://blog.sina.com.cn/s/blog_13050351e0102xfis.html
https://www.sogou.com/link?url=DOb0bgH2eKh1ibpaMGjuy-bS_O7xQYLPIOogrOFmc02ueKW9M67CaVLpMY1k7wxTCB1NmnNSzM-t5pUc3zy0dg..
https://www.sogou.com/link?url=DOb0bgH2eKh1ibpaMGjuy6YnbQPc3cuKWH5w_8iuvJBomuBEhdSpHkUUZED5fr2OXwl-dB-nkEs_c1NbUyGLxQ..
https://jingyan.baidu.com/article/ca00d56c1b3647e99eebcfbd.html

`import numpy as np

import pandas as pd
from pandas import Series,DataFrame
from numpy import nan as NaN

import tensorflow as tf
import matplotlib.pyplot as plt

import scipy.io as sio
import os

from sklearn import preprocessing

读取mat数据
load_path="08_1.mat"
load_data = sio.loadmat(load_path)
a = load_data[‘D‘]
print(a)

data = DataFrame(a)
print(data)

data.fillna(0)
print(data.fillna(0))

b=data.fillna(0).values
print(b)

数据归一化
a2 = preprocessing.scale(b)
print(‘数据归一化:‘)
print(a2)

数据清洗方法2 删除NAN所在的列

load_path2="08_1.mat"
load_data2 = sio.loadmat(load_path2)
a2 = load_data2[‘D‘]

print(a2)

data2 = DataFrame(a2)
data2.dropna(axis=0, how=‘any‘)

print(data2.dropna(axis=0, how=‘any‘))`

处理前:

处理后:

原文地址:https://www.cnblogs.com/Ann21/p/10649698.html

时间: 2024-08-15 03:57:22

Python 数据清洗--处理Nan的相关文章

python数据清洗cvs里面带中文字符

数据清洗,使用python数据清洗cvs里面带中文字符,意图是用字典对应中文字符,即key值是中文字符,value值是index,自增即可:利用字典数据结构没有重复key值的特性,把中文字符映射到了数值index. python代码如下:(data数据时csv格式) import csv dict2 = {}      #Cdict4 = {}      #Edict25 = {}     #zdict26 = {}     #AAdict27 = {}     #ABdict37 = {}  

Python 无穷大与NaN

想创建或测试正无穷.负无穷或NaN(非数字) 的浮点数 Python 并没有特殊的语法来表示这些特殊的浮点值,但是可以使用float() 来创建它们.比如: >>> a = float('inf') >>> b = float('-inf') >>> c = float('nan') >>> a inf >>> b -inf >>> c nan >>> 为了测试这些值的存在,使用m

python数据清洗

盖帽法 分箱法 简单随机抽和分层抽 原文地址:https://www.cnblogs.com/mypath/p/12169229.html

【Python数据挖掘课程】六.Numpy、Pandas和Matplotlib包基础知识

前面几篇文章采用的案例的方法进行介绍的,这篇文章主要介绍Python常用的扩展包,同时结合数据挖掘相关知识介绍该包具体的用法,主要介绍Numpy.Pandas和Matplotlib三个包.目录:        一.Python常用扩展包        二.Numpy科学计算包        三.Pandas数据分析包        四.Matplotlib绘图包 前文推荐:       [Python数据挖掘课程]一.安装Python及爬虫入门介绍       [Python数据挖掘课程]二.K

R vs Python:构建data.frame、读取csv与统计描述

一.Python 数据框就是典型的关系型数据库的数据存储形式,每一行是一条记录,每一列是一个属性,最终构成表格的形式,这是数据科学家必须熟悉的最典型的数据结构. 1.构建数据框 import pandas as pd data = {'year':[2010, 2011, 2012, 2010, 2011, 2012, 2010, 2011, 2012], 'team':['FCBarcelona', 'FCBarcelona', 'FCBarcelona', 'RMadrid', 'RMadr

python数据分析-03pandas库

#Seriesimport numpy as npimport pandas as pd # s1 = pd.Series([1,2,3,4])# print(s1)# # 0 1# # 1 2# # 2 3# # 3 4# # dtype: int64# print(s1.values) #[1 2 3 4]# print(s1.index) #RangeIndex(start=0, stop=4, step=1) #传入数组# s2 = pd.Series(np.arange(10))# p

Python 浮点数的冷知识

本周的PyCoder's Weekly 上分享了一篇小文章,它里面提到的冷知识很有意思,我稍作补充,分享给大家. 它提到的部分问题,读者们可以先思考下: 若两个元组相等,即 a==b 且 a is b,那么相同索引的元素(如 a[0] .b[0])是否必然相等呢? 若两个对象的 hash 结果相等,即 hash(a) == hash(b),那么它们是否必然相等呢? 答案当然都为否(不然就不叫冷知识了),大家可以先尝试回答一下,然后再往下看. -----思考分割线----- 好了,先来看看第一个问

Pandas中数据的处理

有两种丢失数据 --None --np.nan(NaN) None是python自带的,其类型为python object.因此,None不能参与到任何计算中 Object类型的运算比int类型的运算慢的多 计算不同数据类型求和时间 %timeit np.arange(1e5,dtype=xxx).sum() %timeit是指python表达式或语句的执行时间 Pandas中的none与np.nan都视作np.nan 数据清洗 df.loc[index,column] ------>元素索引,

AI人工智能:在生活变难之前,先让自己变强!

近几年大家对AI的关注度越来越高,在2016年世界互联网大会上,人工智能被冠以"四大热词"之一,2017年12月,人工智能入选"2017年度中国媒体十大流行语". 自从2016年AlphaGo以悬殊比分打败世界顶级围棋棋手李世石后,人们开始担心人工智能机器人是否超越了人类智慧.之后围棋天才柯洁输给AlphaGo.AI入侵华尔街引发裁员狂潮.京东黑科技无人超市面世等等诸如此类的消息屡屡登上热搜榜单,人工智能技术被大量应用到各行各业中.可以预见,人工智能必将像人类历史上