1 Pandas介紹

2008年WesMcKinney開(kāi)發(fā)出的庫(kù)

專門用于數(shù)據(jù)挖掘的開(kāi)源python庫(kù)

以Numpy為基礎(chǔ)，借力Numpy模塊在計(jì)算方面性能高的優(yōu)勢(shì)

基于matplotlib，能夠簡(jiǎn)便的畫圖

獨(dú)特的數(shù)據(jù)結(jié)構(gòu)

Numpy已經(jīng)能夠幫助我們處理數(shù)據(jù)，能夠結(jié)合matplotlib解決部分?jǐn)?shù)據(jù)展示等問(wèn)題，那么pandas學(xué)習(xí)的目的在什么地方呢？

• 增強(qiáng)圖表可讀性
• 便捷的數(shù)據(jù)處理能力
• 讀取文件方便
• 封裝了Matplotlib、Numpy的畫圖和計(jì)算

2 Pandas數(shù)據(jù)結(jié)構(gòu)

Pandas中一共有三種數(shù)據(jù)結(jié)構(gòu)，分別為：Series、DataFrame和MultiIndex（老版本中叫Panel ）。

其中Series是一維數(shù)據(jù)結(jié)構(gòu)，DataFrame是二維的表格型數(shù)據(jù)結(jié)構(gòu)，MultiIndex是三維的數(shù)據(jù)結(jié)構(gòu)。

2.1 Series

Series是一個(gè)類似于一維數(shù)組的數(shù)據(jù)結(jié)構(gòu)，它能夠保存任何類型的數(shù)據(jù)，比如整數(shù)、字符串、浮點(diǎn)數(shù)等，主要由一組數(shù)據(jù)和與之相關(guān)的索引兩部分構(gòu)成。

2.1.1 Series的創(chuàng)建

# 導(dǎo)入pandas
import pandas as pd

pd.Series(data=None, index=None, dtype=None)

參數(shù)：

• data：傳入的數(shù)據(jù)，可以是ndarray、list等
• index：索引，必須是唯一的，且與數(shù)據(jù)的長(zhǎng)度相等。如果沒(méi)有傳入索引參數(shù)，則默認(rèn)會(huì)自動(dòng)創(chuàng)建一個(gè)從0-N的整數(shù)索引。
• dtype：數(shù)據(jù)的類型

指定索引創(chuàng)建：

pd.Series([6.7,5.6,3,10,2], index=[1,2,3,4,5])

通過(guò)字典數(shù)據(jù)創(chuàng)建

color_count = pd.Series({'red':100, 'blue':200, 'green': 500, 'yellow':1000})
color_count

2.1.2 Series的屬性

為了更方便地操作Series對(duì)象中的索引和數(shù)據(jù)，Series中提供了兩個(gè)屬性index和values

1.index

color_count.index

# 結(jié)果
Index(['blue', 'green', 'red', 'yellow'], dtype='object')

2.values

color_count.values

# 結(jié)果
array([ 200,  500,  100, 1000])

當(dāng)然也可以使用索引來(lái)獲取數(shù)據(jù)：

color_count[2]

# 結(jié)果
100

2.2 DataFrame

DataFrame是一個(gè)類似于二維數(shù)組或表格(如excel)的對(duì)象，既有行索引，又有列索引。

• 行索引，表明不同行，橫向索引，叫index，0軸，axis=0
• 列索引，表名不同列，縱向索引，叫columns，1軸，axis=1

2.2.1 DataFrame的創(chuàng)建

# 導(dǎo)入pandas
import pandas as pd

pd.DataFrame(data=None, index=None, columns=None)

參數(shù)：

• index：行標(biāo)簽。如果沒(méi)有傳入索引參數(shù)，則默認(rèn)會(huì)自動(dòng)創(chuàng)建一個(gè)從0-N的整數(shù)索引。
• columns：列標(biāo)簽。如果沒(méi)有傳入索引參數(shù)，則默認(rèn)會(huì)自動(dòng)創(chuàng)建一個(gè)從0-N的整數(shù)索引。

舉例：創(chuàng)建學(xué)生成績(jī)表

# 生成10名同學(xué)，5門功課的數(shù)據(jù)
score = np.random.randint(40, 100, (10, 5))

# 結(jié)果
array([[46, 93, 49, 70, 53],
       [42, 86, 65, 50, 87],
       [41, 74, 44, 87, 64],
       [62, 57, 45, 46, 86],
       [82, 46, 72, 85, 63],
       [82, 77, 61, 55, 41],
       [48, 41, 48, 52, 58],
       [90, 53, 95, 96, 78],
       [77, 49, 51, 76, 56],
       [79, 91, 75, 95, 66]])

但是這樣的數(shù)據(jù)形式很難看到存儲(chǔ)的是什么的樣的數(shù)據(jù)，可讀性比較差！！

問(wèn)題：如何讓數(shù)據(jù)更有意義的顯示？

# 使用Pandas中的數(shù)據(jù)結(jié)構(gòu)
score_df = pd.DataFrame(score)

增加行、列索引：

# 構(gòu)造行索引序列
subjects = ["語(yǔ)文", "數(shù)學(xué)", "英語(yǔ)", "物理", "化學(xué)"]

# 構(gòu)造列索引序列
stu = ['同學(xué)' + str(i) for i in range(score.shape[0])]

# 添加行索引
data = pd.DataFrame(score, columns=subjects, index=stu)

2.2.2 DataFrame的屬性

1.shape

data.shape

# 結(jié)果
(10, 5)

2.index

DataFrame的行索引列表

data.index

# 結(jié)果
Index(['同學(xué)0', '同學(xué)1', '同學(xué)2', '同學(xué)3', '同學(xué)4', '同學(xué)5', '同學(xué)6', '同學(xué)7', '同學(xué)8', '同學(xué)9'], dtype='object')

3.columns

DataFrame的列索引列表

data.columns

# 結(jié)果
Index(['語(yǔ)文', '數(shù)學(xué)', '英語(yǔ)', '政治', '體育'], dtype='object')

4.values

直接獲取其中array的值

data.values

array([[46, 93, 49, 70, 53],
       [42, 86, 65, 50, 87],
       [41, 74, 44, 87, 64],
       [62, 57, 45, 46, 86],
       [82, 46, 72, 85, 63],
       [82, 77, 61, 55, 41],
       [48, 41, 48, 52, 58],
       [90, 53, 95, 96, 78],
       [77, 49, 51, 76, 56],
       [79, 91, 75, 95, 66]])

5.T

轉(zhuǎn)置

data.T

輸出結(jié)果：

6.head(5)：顯示前5行內(nèi)容 （很常用）

如果不補(bǔ)充參數(shù)，默認(rèn)5行。填入?yún)?shù)N則顯示前N行

data.head(5)

7.tail(5):顯示后5行內(nèi)容

如果不補(bǔ)充參數(shù)，默認(rèn)5行。填入?yún)?shù)N則顯示后N行

data.tail(5)

2.2.3 DatatFrame索引的設(shè)置

1.修改行列索引值

stu = ["學(xué)生_" + str(i) for i in range(score_df.shape[0])]

# 必須整體全部修改
data.index = stu

注意：以下修改方式是錯(cuò)誤的

# 錯(cuò)誤修改方式
data.index[3] = '學(xué)生_3'  #  錯(cuò)誤

2.重設(shè)索引

reset_index(drop=False)

• 設(shè)置新的下標(biāo)索引
• drop:默認(rèn)為False，不刪除原來(lái)索引，如果為True,刪除原來(lái)的索引值

# 重置索引,drop=False
data.reset_index()

3.以某列值設(shè)置為新的索引

set_index(keys, drop=True)

• keys : 列索引名成或者列索引名稱的列表
• drop : boolean, default True.當(dāng)做新的索引，刪除原來(lái)的列

df = pd.DataFrame({'month': [1, 4, 7, 10],
                    'year': [2012, 2014, 2013, 2014],
                    'sale':[55, 40, 84, 31]})
                    
 df = df.set_index(['year', 'month'])

注：通過(guò)剛才的設(shè)置，這樣DataFrame就變成了一個(gè)具有MultiIndex的DataFrame。