網站首頁 編程語言 正文
前言
Pandas是Python下一個開源數據分析的庫,它提供的數據結構DataFrame極大的簡化了數據分析過程中一些繁瑣操作。
1. 基本使用:
創建DataFrame. DataFrame是一張二維的表,大家可以把它想象成一張Excel表單或者Sql表。
Excel 2007及其以后的版本的最大行數是1048576,最大列數是16384,超過這個規模的數據Excel就會彈出個框框“此文本包含多行文本,無法放置在一個工作表中”。
Pandas處理上千萬的數據是易如反掌的sh事情,同時隨后我們也將看到它比SQL有更強的表達能力,可以做很多復雜的操作,要寫的code也更少。 說了一大堆它的好處,要實際感觸還得動手碼代碼。
首要的任務就是創建一個DataFrame,它有幾種創建方式:
- 列表,序列(pandas.Series), numpy.ndarray的字典
- 二維numpy.ndarray
- 別的DataFrame
- 結構化的記錄(structured arrays)
其中,我最喜歡的是通過二維ndarray創建DataFrame,因為代碼敲得最少:
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randn( 3 , 4 ))
df
0 1 2 3
0 0.236175 - 0.394792 - 0.171866 0.304012
1 0.651926 0.989046 0.160389 0.482936
2 - 1.039824 0.401105 - 0.492714 - 1.220438
當然你還可以從mysql數據庫或者csv文件中載入數據到dataframe。
dataframe中index用來標識行,column標識列,shape表示維度。
# 獲得行索引信息
df.index
# 獲得列索引信息
df.columns
# 獲得df的size
df.shape
# 獲得df的行數
df.shape[0]
# 獲得df的 列數
df.shape[1]
# 獲得df中的值
df.values
通過describe方法,我們可以對df中的數據有個大概的了解:
df.describe()
0 1 2 3
count 3.000000 3.000000 3.000000 3.000000
mean - 0.050574 0.331786 - 0.168064 - 0.144496
std 0.881574 0.694518 0.326568 0.936077
min - 1.039824 - 0.394792 - 0.492714 - 1.220438
25 % - 0.401824 0.003156 - 0.332290 - 0.458213
50 % 0.236175 0.401105 - 0.171866 0.304012
75 % 0.444051 0.695076 - 0.005739 0.393474
max 0.651926 0.989046 0.160389 0.482936
2. 數據select, del, update。
按照列名select:
df[ 0 ]
0 0.236175
1 0.651926
2 - 1.039824
按照行數select:
df[: 3 ] #選取前3行
按照索引select:
df.loc[ 0 ]
0 0.236175
1 - 0.394792
2 - 0.171866
3 0.304012
按照行數和列數select:
df.iloc[ 3 ] #選取第3行
df.iloc[ 2 : 4 ] #選取第2到第3行
df.iloc[ 0 , 1 ] #選取第0行1列的元素
dat.iloc[: 2 , : 3 ] #選取第0行到第1行,第0列到第2列區域內的元素
df1.iloc[[1,3,5],[1,3]] #選取第1,3,5行,第1,3列區域內的元素
刪除某列:
del df[0]
df
1 2 3
0 - 0.394792 - 0.171866 0.304012
1 0.989046 0.160389 0.482936
2 0.401105 - 0.492714 - 1.220438
刪除某行:
5
df.drop(0)
1 2 3
1 0.989046 0.160389 0.482936
2 0.401105 - 0.492714 - 1.220438
3.運算。
基本運算:
df[ 4 ] = df[ 1 ] + df[ 2 ]
1 2 3 4
0 - 0.394792 - 0.171866 0.304012 - 0.566659
1 0.989046 0.160389 0.482936 1.149435
2 0.401105 - 0.492714 - 1.220438 - 0.091609
map運算,和python中的map有些類似:
df[ 4 ]. map ( int )
0 0
1 1
2 0
apply運算:
df. apply ( sum )
1 0.995359
2 - 0.504192
3 - 0.433489
4 0.491167
4. Group by 操作。
pandas中的group by 操作是我的最愛,不用把數據導入excel或者mysql就可以進行靈活的group by 操作,簡化了分析過程。
df[ 0 ] = [ 'A' , 'A' , 'B' ]
df
1 2 3 4 0
0 - 0.394792 - 0.171866 0.304012 - 0.566659 A
1 0.989046 0.160389 0.482936 1.149435 A
2 0.401105 - 0.492714 - 1.220438 - 0.091609 B
g = df.groupby([ 0 ])
g.size()
A 2
B 1
g. sum ()
1 2 3 4
0
A 0.594254 - 0.011478 0.786948 0.582776
B 0.401105 - 0.492714 - 1.220438 - 0.091609
5. 導出到csv文件
dataframe可以使用to_csv方法方便地導出到csv文件中,如果數據中含有中文,一般encoding指定為”utf-8″,否則導出時程序會因為不能識別相應的字符串而拋出異常,index指定為False表示不用導出dataframe的index數據。
df.to_csv(file_path, encoding='utf-8', index=False)
df.to_csv(file_path, index=False)
總結
原文鏈接:https://blog.csdn.net/u013045749/article/details/48370007
相關推薦
- 2021-12-24 SQL注入詳解及防范方法_數據庫其它
- 2022-05-15 Python語言實現二分法查找_python
- 2022-12-27 詳解C#中線程傳參,返回值和多線程沖突問題的解決_C#教程
- 2023-04-18 spark?dataframe全局排序id與分組后保留最大值行_python
- 2022-05-20 springCloud_Feign遠程調用
- 2022-03-05 C#多線程用法詳解_C#教程
- 2022-05-23 python中的netCDF4批量處理NC文件的操作方法_python
- 2022-12-13 Python?urllib?入門使用詳細教程_python
- 最近更新
-
- window11 系統安裝 yarn
- 超詳細win安裝深度學習環境2025年最新版(
- Linux 中運行的top命令 怎么退出?
- MySQL 中decimal 的用法? 存儲小
- get 、set 、toString 方法的使
- @Resource和 @Autowired注解
- Java基礎操作-- 運算符,流程控制 Flo
- 1. Int 和Integer 的區別,Jav
- spring @retryable不生效的一種
- Spring Security之認證信息的處理
- Spring Security之認證過濾器
- Spring Security概述快速入門
- Spring Security之配置體系
- 【SpringBoot】SpringCache
- Spring Security之基于方法配置權
- redisson分布式鎖中waittime的設
- maven:解決release錯誤:Artif
- restTemplate使用總結
- Spring Security之安全異常處理
- MybatisPlus優雅實現加密?
- Spring ioc容器與Bean的生命周期。
- 【探索SpringCloud】服務發現-Nac
- Spring Security之基于HttpR
- Redis 底層數據結構-簡單動態字符串(SD
- arthas操作spring被代理目標對象命令
- Spring中的單例模式應用詳解
- 聊聊消息隊列,發送消息的4種方式
- bootspring第三方資源配置管理
- GIT同步修改后的遠程分支