pandas 新手指引

# 10 Minutes to pandas

ｐａｎｄａｓ入门教程，面向新手，如需高级教程，移步[pandas cookbook](http://pandas.pydata.org/pandas-docs/stable/cookbook.html#cookbook)

按照约定，一般按照如下形式对ｐａｎｄａｓ进行导入

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

# 使用ｉｐｙｔｈｏｎ　ｎｏｔｅｂｏｏｋ绘图，加入如下命令
%matplotlib inline

## pandas 对象的创建

通过ｐｙｔｈｏｎ列表构造一个ｐａｎｄａｓ的Ｓｅｒｉｅｓ对象

# Series 自动生成索引
s = pd.Series([1,2,3,np.nan, 4,5])
s

0 1.0
1 2.0
2 3.0
3 NaN
4 4.0
5 5.0
dtype: float64

使用numpy的数组创建一个ｐａｎｄａｓ的ＤａｔａＦｒａｍｅ，指定日期序列为行索引，指定’A’,’B’,’C’,’D’为列索引

dates = pd.date_range(‘20160101‘, periods=6)
dates

DatetimeIndex([‘2016-01-01’, ‘2016-01-02’, ‘2016-01-03’, ‘2016-01-04’,
‘2016-01-05’, ‘2016-01-06’],
dtype=’datetime64[ns]’, freq=’D’)

df = pd.DataFrame(np.random.randn(6,4), index=dates, columns=list(‘ABCD‘))

df

或者，可以通过传递字典来创建Ｄａｔａｆｒａｍｅ对象

df2 = pd.DataFrame({
        ‘A‘: pd.Timestamp(‘20160701‘),
        ‘B‘: pd.Series(1, index=list(range(4)), dtype=‘float32‘),
        ‘C‘: np.array([3] * 4, dtype=‘int32‘),
        ‘D‘: pd.Categorical([‘Test‘, ‘Train‘, ‘Test‘, ‘Train‘]),
        ‘E‘: 1,
        ‘F‘: ‘foo‘
    })
df2

df2的每一列都拥有不同的类型，可以通过dtypes属性查看

df2.dtypes

A datetime64[ns]
B float32
C int32
D category
E int64
F object
dtype: object

## 查看数据

查看数据的前几行和后几行

# head(n) 方法查看前n行
df.head(3)

# tail(n) 方法查看后n行
df.tail(2)

查看DataFrame的行列信息和数据信息

df.index

DatetimeIndex([‘2016-01-01’, ‘2016-01-02’, ‘2016-01-03’, ‘2016-01-04’,
‘2016-01-05’, ‘2016-01-06’],
dtype=’datetime64[ns]’, freq=’D’)

df.columns

Index([‘A’, ‘B’, ‘C’, ‘D’], dtype=’object’)

df.values

array([[-0.8083965 , -1.54897301, 1.01331067, 1.98153559],
[ 1.96654297, 0.46829396, 0.16844495, -1.47401779],
[-1.30845444, 0.62552152, -2.46554656, 1.75779664],
[-1.43058558, -0.73216048, -0.03483597, 0.21629514],
[-0.51974796, 0.3868237 , -2.77528915, -0.08889186],
[ 1.02791114, -0.31108897, 0.64672466, 0.77300274]])

简单数据统计信息

df.describe()

矩阵的转置

df.T

索引排序

df.sort_index(axis=1, ascending=False)

通过某一列值进行排序

df.sort_values(by=‘C‘)

## 数据的选择

### 获取数据

# 选取单独一列数据，获取到的数据是Ｓｅｒｉｅｓ对象，
# df[‘A‘] 等价与　df.A
df[‘A‘]

2016-01-01 -0.808397
2016-01-02 1.966543
2016-01-03 -1.308454
2016-01-04 -1.430586
2016-01-05 -0.519748
2016-01-06 1.027911
Freq: D, Name: A, dtype: float64

通过切片技术，获取相对应的行. **PS: 末端包含**

df[0:3]

df[‘20160102‘: ‘20160104‘]

通过标签选择数据。　ps:使用 .at, .iat, .loc, .iloc, .ix属性来实现

df.loc[‘20160101‘]

A -0.808397
B -1.548973
C 1.013311
D 1.981536
Name: 2016-01-01 00:00:00, dtype: float64

花式索引，选取多列数据

df.loc[:, [‘A‘,‘B‘]]

通过标签来切片

df.loc[‘20160102‘:‘20160103‘, [‘B‘,‘C‘]]

df.loc[‘20160103‘,[‘A‘, ‘B‘]]

A -1.308454
B 0.625522
Name: 2016-01-03 00:00:00, dtype: float64

获取单个数据

print(df.loc[‘20160101‘, ‘A‘])
# 或者使用.at属性
print(df.at[dates[0], ‘A‘])

-0.808396502432
-0.808396502432

通过位置选择,通过整数坐标来获取数据片段或单个数据,此时切片跟python, numpy一致，即末端不包含。

df.iloc[3]

A -1.430586
B -0.732160
C -0.034836
D 0.216295
Name: 2016-01-04 00:00:00, dtype: float64

df.iloc[3:5, 0:2]

df.iloc[[1,2,4],[0,2]]

df.iloc[1:3]

df.iloc[:,1:3]

df.iloc[1,1] # 等价与　df.iat{1,1}

0.46829396335234058

### 布尔型索引

df[df.A > 0]

df[df >0]

使用　isin 方法来筛选数据

df2 = df.copy()
df2[‘E‘] = [‘one‘, ‘one‘, ‘two‘, ‘three‘, ‘four‘, ‘three‘]
df2

df2[df2[‘E‘].isin([‘one‘,‘three‘])]

### 数据的设置

通过索引匹配插入新的一列

s1 = pd.Series([1,2,3,4,5,6], index=pd.date_range(‘2016010２‘, periods=6))
df[‘F‘] = s1
df

也可以通过标签来赋值

df.at[dates[0], ‘A‘] = 0
df

通过位来赋值

df.iat[0, 1] = 0
df

将numpy数组赋值给某列

df.loc[:, ‘D‘] = np.array([5] * len(df))
df

df2 = df.copy()
df2[df2>0] = -df2
df2

## 处理缺失数据

pandas使用np.nan来表征缺失数据，这些数据在计算时默认不会被使用

df1 = df.reindex(index=dates[0:4], columns=list(df.columns) + [‘E‘])
df1.loc[dates[0]:dates[1], ‘E‘] = 1
df1

方案一、丢弃所有数据缺失的行

df1.dropna(how=‘any‘)

方案二、填充缺失值

df1.fillna(value=5)

可以获取到缺失数据的掩码

df.isnull()
# 值为Ｔｒｕｅ的位置即是数据缺失的位置

## 数据操作

数据操作默认不会使用缺失值

### 状态操作

df.mean()

A -0.044056
B 0.072898
C -0.574532
D 5.000000
F 3.000000
dtype: float64

# 行内统计
df.mean(1)

2016-01-01 1.503328
2016-01-02 1.720656
2016-01-03 0.770304
2016-01-04 1.160484
2016-01-05 1.218357
2016-01-06 2.272709
Freq: D, dtype: float64

当对维度不同的数据进行操作时，　数据之间需要对其，ｐａｎｄａｓ会自动在不同维度之间进行广播

s = pd.Series([1,3,5,np.nan, 6, 8], index=dates).shift(2)
s

2016-01-01 NaN
2016-01-02 NaN
2016-01-03 1.0
2016-01-04 3.0
2016-01-05 5.0
2016-01-06 NaN
Freq: D, dtype: float64

df.sub(s, axis=‘index‘)

### 函数应用

将函数应用到数据上

df.apply(np.cumsum, axis=0)

df.apply(lambda x: x.max() - x.min())

A 3.397129
B 1.357682
C 3.788600
D 0.000000
F 4.000000
dtype: float64

## 直方图

s = pd.Series(np.random.randint(0,7,size=10))
s

0 1
1 5
2 6
3 5
4 6
5 4
6 0
7 3
8 6
9 5
dtype: int64

s.value_counts()

6 3
5 3
4 1
3 1
1 1
0 1
dtype: int64

### 字符串操作

s = pd.Series([‘A‘, ‘B‘, ‘C‘, ‘Aaba‘, ‘BAcd‘, np.nan, ‘CBA‘, ‘dog‘, ‘CAT‘])
s.str.lower()

0 a
1 b
2 c
3 aaba
4 bacd
5 NaN
6 cba
7 dog
8 cat
dtype: object

## 数据合并

### 数据连接 concat

# concat 函数将对象连接在一起
df = pd.DataFrame(np.random.randn(10,4))
df

pieces = [df[:3], df[5:]]
pd.concat(pieces)

### 数据ＳＱＬ风格的连接　merge

left = pd.DataFrame({‘key‘: [‘foo‘, ‘foo‘], ‘lval‘: [1,2]})
right = pd.DataFrame({‘key‘: [‘foo‘, ‘foo‘], ‘rval‘: [4,5]})
left

right

pd.merge(left, right, on=‘key‘)

### Append

在Ｄａｔｅｆｒａｍｅ对象尾部添加数据

df = pd.DataFrame(np.random.randn(8, 4), columns=[‘A‘,‘B‘,‘C‘,‘D‘])
df

s = df.iloc[3]
df.append(s, ignore_index=True)

### 分组聚合 groupby

分组聚合一般而言经历一下步骤：
- 按约束条件将数据分组
- 使用某个函数处理分好组的数据
- 将处理好的数据合并在一起

df = pd.DataFrame({
        ‘A‘: [‘foo‘,‘bar‘,‘foo‘,‘bar‘,‘foo‘,‘bar‘,‘foo‘,‘foo‘],
        ‘B‘: [‘one‘,‘one‘,‘two‘,‘three‘, ‘two‘, ‘two‘, ‘one‘, ‘three‘],
        ‘C‘: np.random.randn(8),
        ‘D‘: np.random.randn(8)
    })
df

分组聚合后将ｓｕｍ函数应用到分组数据上

df.groupby(‘A‘).sum()

多重分组聚合之后，应用ｓｕｍ函数

df.groupby([‘A‘, ‘B‘]).sum()

## 重塑和轴向旋转

### 轴向旋转

tuples = list(zip(*[
            [‘bar‘,‘bar‘, ‘baz‘, ‘baz‘, ‘foo‘,‘foo‘, ‘qux‘, ‘qux‘],
            [‘one‘, ‘two‘, ‘one‘, ‘two‘, ‘one‘, ‘two‘, ‘one‘, ‘two‘ ]
        ]))
index = pd.MultiIndex.from_tuples(tuples, names=[‘first‘, ‘second‘])
df = pd.DataFrame(np.random.randn(8, 2), index=index, columns=[‘A‘,‘B‘])
df2 = df[:4]
df2

# stack方法将列转换为行
stacked = df2.stack()
stacked

first second
bar one A -0.084595
B 1.495368
two A -0.801703
B -0.663997
baz one A -0.108681
B -0.986022
two A -0.524829
B 0.983664
dtype: float64

# unstack方法将行转为列
stacked.unstack()

# 默认unstack操作的是最内层的数据，可以指定层数
stacked.unstack(1)

stacked.unstack(0)

### 透视表

df = pd.DataFrame({
        ‘A‘: [‘one‘, ‘two‘, ‘three‘, ‘four‘] * 3,
        ‘B‘: [‘A‘, ‘B‘, ‘C‘] * 4,
        ‘C‘: [‘foo‘, ‘foo‘, ‘foo‘, ‘bar‘, ‘bar‘, ‘bar‘] * 2,
        ‘D‘: np.random.randn(12),
        ‘E‘: np.random.randn(12)

    })
df

pd.pivot_table(df, values=‘D‘, index=[‘A‘, ‘B‘], columns=[‘C‘])

## 时间序列

pandas提供了简单有效的处理时间频率的函数。

rng = pd.date_range(‘1/1/2016‘, periods=100, freq=‘S‘)

ts = pd.Series(np.random.randint(0, 500, len(rng)), index=rng)

ts.resample(‘10S‘).sum()

2016-01-01 00:00:00 2910
2016-01-01 00:00:10 2506
2016-01-01 00:00:20 2812
2016-01-01 00:00:30 2923
2016-01-01 00:00:40 2510
2016-01-01 00:00:50 2817
2016-01-01 00:01:00 2672
2016-01-01 00:01:10 2486
2016-01-01 00:01:20 3243
2016-01-01 00:01:30 2865
Freq: 10S, dtype: int64

时区转换

rng = pd.date_range(‘2/2/2016 00:00‘, periods=5 , freq=‘D‘)

ts = pd.Series(np.random.randn(len(rng)), rng)

ts

2016-02-02 -0.662500
2016-02-03 -0.762211
2016-02-04 0.954675
2016-02-05 -0.411404
2016-02-06 0.237898
Freq: D, dtype: float64

ts_utc = ts.tz_localize(‘UTC‘)

ts_utc

2016-02-02 00:00:00+00:00 -0.662500
2016-02-03 00:00:00+00:00 -0.762211
2016-02-04 00:00:00+00:00 0.954675
2016-02-05 00:00:00+00:00 -0.411404
2016-02-06 00:00:00+00:00 0.237898
Freq: D, dtype: float64

转化到其它时区

ts_utc.tz_convert(‘Asia/Shanghai‘)

2016-02-02 08:00:00+08:00 -0.662500
2016-02-03 08:00:00+08:00 -0.762211
2016-02-04 08:00:00+08:00 0.954675
2016-02-05 08:00:00+08:00 -0.411404
2016-02-06 08:00:00+08:00 0.237898
Freq: D, dtype: float64

时间戳和时期之间的专转换

ran = pd.date_range(‘1/1/2016‘, periods=5, freq=‘M‘)

ts = pd.Series(np.random.randn(len(rng)), index=rng)

ts

2016-02-02 -2.143138
2016-02-03 1.683414
2016-02-04 -0.427250
2016-02-05 -0.900378
2016-02-06 -1.039857
Freq: D, dtype: float64

ps = ts.to_period()
ps

2016-02-02 -2.143138
2016-02-03 1.683414
2016-02-04 -0.427250
2016-02-05 -0.900378
2016-02-06 -1.039857
Freq: D, dtype: float64

ps.to_timestamp()

2016-02-02 -2.143138
2016-02-03 1.683414
2016-02-04 -0.427250
2016-02-05 -0.900378
2016-02-06 -1.039857
Freq: D, dtype: float64

## 种类类型

df = pd.DataFrame({
        "id": [1,2,3,4,5,6],
        "raw_grade": [‘a‘,‘b‘,‘b‘,‘a‘,‘a‘,‘e‘]
    })

df[‘grade‘] = df[‘raw_grade‘].astype(‘category‘)
df[‘grade‘]

0 a
1 b
2 b
3 a
4 a
5 e
Name: grade, dtype: category
Categories (3, object): [a, b, e]

df.grade.cat.categories = [‘very good‘, ‘good‘, ‘bad‘]
df.grade

0 very good
1 good
2 good
3 very good
4 very good
5 bad
Name: grade, dtype: category
Categories (3, object): [very good, good, bad]

df.grade = df.grade.cat.set_categories([‘very bad‘, ‘bad‘, ‘medium‘, ‘good‘, ‘very good‘])
df.grade

0 very good
1 good
2 good
3 very good
4 very good
5 bad
Name: grade, dtype: category
Categories (5, object): [very bad, bad, medium, good, very good]

df.sort_values(by=‘grade‘)

df.groupby(‘grade‘).size()

grade
very bad     0
bad          1
medium       0
good         2
very good    3
dtype: int64

绘图

ts = pd.Series(np.random.randn(1000), index=pd.date_range(‘1/1/2000‘, periods=1000))

ts = ts.cumsum()

ts.plot(grid=True)

<matplotlib.axes._subplots.AxesSubplot at 0x7ffa41fa9908>

df = pd.DataFrame(np.random.randn(1000, 4), index=ts.index, columns=list(‘ABCD‘))
df = df.cumsum()

plt.figure()
df.plot(grid=True)
plt.legend(loc=‘best‘)

<matplotlib.legend.Legend at 0x7ffa41de6e48>

<matplotlib.figure.Figure at 0x7ffa41f1e198>