python简单的数据清洗,数据筛选方法归类

创建数组有两种方式,1.直接赋值  2.随机变量生成随机生成包括4种:np.arange(20),np.linspace(0,10,5),np.logspace(0,2,5),np.random.random(3,2,3)np.arange(10,20,2)   ##左闭右开区间,起始值,终止值,步长np.linspace(0,10,5)   ##闭区间,起始值,终止值,元素个数     等差数列np.logspace(0,2,5)    ##闭区间,起始值(以指数形式存在),终止值(以指数形式存在, 以10为底,2的指数),元素个数 等比数列np.random.random(3,2,3) #三维是3个,二维是2个,一维是3个

ndarray的属性:dytpe 输出的是组成数组的元素的数据类型,int+32shape 一个数组的各个维度大小的元组,比如返回(2, 5)size  元素总个数ndim  一个数组的维度数量,比如三维数组返回就是3

ndarry修改形状(只有shape会改变原来的数据,其它的都不会):a.reshape(-1,5)  #这里-1表示自适应,5表示5列a.shape(2,-1)    #方法中的值同reshape,只是shape改变了原本的数组,reshape没有改变原本的修改数组中的值可以用切片通过transpose转制数组,比如数组shape由(5,8)可以转换为shape为(8,5),只是提取数据,原数据不变通过属性T转置直接shape由(5,8)转换为(8,5),只是提取数据,原数据不变

数组之间的加减乘除,数组与数组之间,数组与标量(数字)之间数组的矩阵积,一个数组的一列值分别与另一个数组的一列值相乘布尔类型的数组进行数组索引花式索引arr[np.ix_([0,3,5],[0,2,3])]

通用函数,一维函数,二维函数聚合函数,min最小值,max最大值,mean平均值等等,如arr.min(),返回具体的值二维数组下,axis=0表示列,axis=1表示行,如arr.min(axis=0),同列上的元素进行聚合,返回的是这一列最小的值拼成的一行where可以查找替换指定的元素np.where(条件,替换设定的值,数组)unique可以排除重复,返回的是一维数组

请原谅我,这写的的确不是给人看的。。。例子后期看心情添加
时间: 2024-08-12 03:17:49

python简单的数据清洗,数据筛选方法归类的相关文章

python三大类型数据筛选

如何在列表,字典,集合中根据条件刷选数据 说明: 本文分析的类型: 列表 字典 集合 结合每种类型筛选数据的方法的不同,区分出方法间的差异. 一.列表案例 需求:过滤掉列表中的负数. li = [1,5,-3,-1,0,9,-10,10] 1.通用方法:迭代列表获取列表中的每个元素进行选择 代码: li = [1, 5, -3, -1, 0, 9, -10, 10] ret = [] for i in li: if i >= 0: ret.append(i) print(ret) 2.filte

Python学习——数据排序方法

Python对数据排序又两种方法: 1. 原地排序:采用sort()方法,按照指定的顺序排列数据后用排序后的数据替换原来的数据(原来的顺序丢失),如: >>> data1=[4,2,6,432,78,43,22,896,42,677,12] >>> data1.sort() >>> data1 #原来的顺序被替换 [2, 4, 6, 12, 22, 42, 43, 78, 432, 677, 896] 2. 复制排序:采用sorted()内置函数,按照

Winform开窗,筛选数据后返回数据的方法

在开发中,经常需要打开另一个窗体(简写为"开窗"),然后在开窗中进行数据筛选,选中需要的数据,最后将值传递给本原来的窗体.而且,这个开窗可以重复用于多个地方,其效果如同日历控件的弹出窗口.如下图所示: 测试环境 vs2008 基本思路 1.创建一个窗体类. (1)为该类添加用于传递值的属性. (2)为该类添加一个事件,用于通知调用方值已经准备好. (3)在窗体类的某个函数中,如单元格双击处理函数中,为属性赋值,并引发这个事件. 2.调用该窗体类. (1)定义一个全局的窗体类对象. (2

python简单模拟:把树存储在数据表中

在数据库中建立一个表,有Id, fatherId, value 三个字段,就可以存储一个树. 如何把该表中的数据以树的形式呈现出来,下面小弟用python简单模拟一下. 初学python,请大家多多指点.另外非常感谢http://www.cnblogs.com/lzyzizi/对小弟的指点. 运行结果: A-1 B-1 C-1 D-1 E-1 E-2 C-2 B-2 C-3 C-4 源代码: 1 #!user/bin/python 2   3  class noteModel: 4 def __

最简单删除SQL Server中所有数据的方法

原文:最简单删除SQL Server中所有数据的方法  最简单删除SQL Server中所有数据的方法 编写人:CC阿爸 2014-3-14 其实删除数据库中数据的方法并不复杂,为什么我还要多此一举呢,一是我这里介绍的是删除数据库的所有数据,因为数据之间可能形成相互约束关系,删除操作可能陷入死循环,二是这里使用了微软未正式公开的sp_MSForEachTable存储过程. 也许很多读者朋友都经历过这样的事情:要在开发数据库基础上清理一个空库,但由于对数据库结构缺乏整体了解,在删除一个表的记录时,

以麦当劳,肯德基优惠券接口数据为例进行的数据解析方法,简单易懂

以麦当劳,肯德基优惠券接口数据为例进行的数据解析方法,简单易懂,这是我个人觉得是一种比较简单易懂的json数据解析方法: 看下其中一个类的代码 package com.example.text_json_deno_model; import java.util.ArrayList; import java.util.List; import org.json.JSONArray; import org.json.JSONException; import org.json.JSONObject;

Android 使用剪贴板传递简单数据及复杂数据的方法

传递数据的场景在于不同页面之间跳转,需要携带数据:简单数据值指的是String, int等数据, 复杂数据指的是类 1.   使用剪贴板传递简单数据方法: 第一个页面里面放数据操作如下: 1 ClipboardManager clipboardManager = (ClipboardManager); 2 getSystemService(Context.CLIPBOARD_SERVICE); 3 String text = "简单数据"; 4 clipboardManager.set

Python使用plotly绘制数据图表的方法

转载:http://www.jb51.net/article/118936.htm 本篇文章主要介绍了Python使用plotly绘制数据图表的方法,实例分析了plotly绘制的技巧. 导语:使用 python-plotly 模块来进行压测数据的绘制,并且生成静态 html 页面结果展示. 不少小伙伴在开发过程中都有对模块进行压测的经历,压测结束后大家往往喜欢使用Excel处理压测数据并绘制数据可视化视图,但这样不能很方便的使用web页面进行数据展示.本文将介绍使用python-plotly模块

数据标准化方法及其Python代码实现

数据的标准化(normalization)是将数据按比例缩放,使之落入一个小的特定区间.目前数据标准化方法有多种,归结起来可以分为直线型方法(如极值法.标准差法).折线型方法(如三折线法).曲线型方法(如半正态性分布).不同的标准化方法,对系统的评价结果会产生不同的影响,然而不幸的是,在数据标准化方法的选择上,还没有通用的法则可以遵循. 常见的方法有:min-max标准化(Min-max normalization),log函数转换,atan函数转换,z-score标准化(zero-mena n