網(wǎng)站首頁(yè) 編程語(yǔ)言 正文
Python?八個(gè)數(shù)據(jù)清洗實(shí)例代碼詳解_python
作者:Python學(xué)習(xí)與數(shù)據(jù)挖掘 ? 更新時(shí)間: 2022-04-03 編程語(yǔ)言如果你經(jīng)歷過數(shù)據(jù)清洗的過程,你就會(huì)明白我的意思。而這正是撰寫這篇文章的目的——讓讀者更輕松地進(jìn)行數(shù)據(jù)清洗工作。
事實(shí)上,我在不久前意識(shí)到,在進(jìn)行數(shù)據(jù)清洗時(shí),有一些數(shù)據(jù)具有相似的模式。也正是從那時(shí)起,我開始整理并編譯了一些數(shù)據(jù)清洗代碼,我認(rèn)為這些代碼也適用于其它的常見場(chǎng)景。
由于這些常見的場(chǎng)景涉及到不同類型的數(shù)據(jù)集,因此本文更加側(cè)重于展示和解釋這些代碼可以用于完成哪些工作,以便讀者更加方便地使用它們。
數(shù)據(jù)清洗小工具箱
在下面的代碼片段中,數(shù)據(jù)清洗代碼被封裝在了一些函數(shù)中,代碼的目的十分直觀。你可以直接使用這些代碼,無(wú)需將它們嵌入到需要進(jìn)行少量參數(shù)修改的函數(shù)中。
1. 刪除多列數(shù)據(jù)
def drop_multiple_col(col_names_list, df): ''' AIM -> Drop multiple columns based on their column names INPUT -> List of column names, df OUTPUT -> updated df with dropped columns ------ ''' df.drop(col_names_list, axis=1, inplace=True) return df
有時(shí),并不是所有列的數(shù)據(jù)都對(duì)我們的數(shù)據(jù)分析工作有用。因此,「df.drop」可以方便地刪掉你選定的列。
2. 轉(zhuǎn)換 Dtypes
def change_dtypes(col_int, col_float, df): ''' AIM -> Changing dtypes to save memory INPUT -> List of column names (int, float), df OUTPUT -> updated df with smaller memory ------ ''' df[col_int] = df[col_int].astype('int32') df[col_float] = df[col_float].astype('float32')
當(dāng)我們面對(duì)更大的數(shù)據(jù)集時(shí),我們需要對(duì)「dtypes」進(jìn)行轉(zhuǎn)換,從而節(jié)省內(nèi)存。如果你有興趣學(xué)習(xí)如何使用「Pandas」來(lái)處理大數(shù)據(jù),我強(qiáng)烈推薦你閱讀「Why and How to Use Pandas with Large Data」這篇文章(https://towardsdatascience.com/why-and-how-to-use-pandas-with-large-data-9594dda2ea4c)。
3. 將分類變量轉(zhuǎn)換為數(shù)值變量
def convert_cat2num(df): # Convert categorical variable to numerical variable num_encode = {'col_1' : {'YES':1, 'NO':0}, 'col_2' : {'WON':1, 'LOSE':0, 'DRAW':0}} df.replace(num_encode, inplace=True)
有一些機(jī)器學(xué)習(xí)模型要求變量是以數(shù)值形式存在的。這時(shí),我們就需要將分類變量轉(zhuǎn)換成數(shù)值變量然后再將它們作為模型的輸入。對(duì)于數(shù)據(jù)可視化任務(wù)來(lái)說(shuō),我建議大家保留分類變量,從而讓可視化結(jié)果有更明確的解釋,便于理解。
4. 檢查缺失的數(shù)據(jù)
def check_missing_data(df): # check for any missing data in the df (display in descending order) return df.isnull().sum().sort_values(ascending=False)
如果你想要檢查每一列中有多少缺失的數(shù)據(jù),這可能是最快的方法。這種方法可以讓你更清楚地知道哪些列有更多的缺失數(shù)據(jù),幫助你決定接下來(lái)在數(shù)據(jù)清洗和數(shù)據(jù)分析工作中應(yīng)該采取怎樣的行動(dòng)。
5. 刪除列中的字符串
def remove_col_str(df): # remove a portion of string in a dataframe column - col_1 df['col_1'].replace('\n', '', regex=True, inplace=True) # remove all the characters after &# (including &#) for column - col_1 df['col_1'].replace(' &#.*', '', regex=True, inplace=True)
有時(shí)你可能會(huì)看到一行新的字符,或在字符串列中看到一些奇怪的符號(hào)。你可以很容易地使用 df[‘col_1’].replace 來(lái)處理該問題,其中「col_1」是數(shù)據(jù)幀 df 中的一列。
6. 刪除列中的空格
def remove_col_white_space(df): # remove white space at the beginning of string df[col] = df[col].str.lstrip()
當(dāng)數(shù)據(jù)十分混亂時(shí),很多意想不到的情況都會(huì)發(fā)生。在字符串的開頭有一些空格是很常見的。因此,當(dāng)你想要?jiǎng)h除列中字符串開頭的空格時(shí),這種方法很實(shí)用。
7. 將兩列字符串?dāng)?shù)據(jù)(在一定條件下)拼接起來(lái)
def concat_col_str_condition(df): # concat 2 columns with strings if the last 3 letters of the first column are 'pil' mask = df['col_1'].str.endswith('pil', na=False) col_new = df[mask]['col_1'] + df[mask]['col_2'] col_new.replace('pil', ' ', regex=True, inplace=True) # replace the 'pil' with emtpy space
當(dāng)你希望在一定條件下將兩列字符串?dāng)?shù)據(jù)組合在一起時(shí),這種方法很有用。例如,你希望當(dāng)?shù)谝涣幸阅承┨囟ǖ淖帜附Y(jié)尾時(shí),將第一列和第二列數(shù)據(jù)拼接在一起。根據(jù)你的需要,還可以在拼接工作完成后將結(jié)尾的字母刪除掉。
8. 轉(zhuǎn)換時(shí)間戳(從字符串類型轉(zhuǎn)換為日期「DateTime」格式)
def convert_str_datetime(df): ''' AIM -> Convert datetime(String) to datetime(format we want) INPUT -> df OUTPUT -> updated df with new datetime format ------ ''' df.insert(loc=2, column='timestamp', value=pd.to_datetime(df.transdate, format='%Y-%m-%d %H:%M:%S.%f'))
在處理時(shí)間序列數(shù)據(jù)時(shí),你可能會(huì)遇到字符串格式的時(shí)間戳列。這意味著我們可能不得不將字符串格式的數(shù)據(jù)轉(zhuǎn)換為根據(jù)我們的需求指定的日期「datetime」格式,以便使用這些數(shù)據(jù)進(jìn)行有意義的分析和展示。
原文鏈接:https://blog.csdn.net/weixin_38037405/article/details/122533318
相關(guān)推薦
- 2022-10-11 tidb-gc長(zhǎng)時(shí)間不變動(dòng)引起的慢查詢
- 2023-02-15 docker刪除拉取的鏡像釋放內(nèi)存的操作方法_docker
- 2022-07-26 使用Nginx+Tomcat實(shí)現(xiàn)負(fù)載均衡的全過程_nginx
- 2023-01-05 Kotlin?object的幾種用法示例詳解_Android
- 2022-06-17 C語(yǔ)言深入講解棧與堆和靜態(tài)存儲(chǔ)區(qū)的使用_C 語(yǔ)言
- 2022-02-25 .gitignore 中增加了 .idea/ workspace.xml失效解決方案
- 2022-09-03 python四則運(yùn)算表達(dá)式求值示例詳解_python
- 2024-02-28 UNI-APP設(shè)置屏幕保持常亮
- 最近更新
-
- window11 系統(tǒng)安裝 yarn
- 超詳細(xì)win安裝深度學(xué)習(xí)環(huán)境2025年最新版(
- Linux 中運(yùn)行的top命令 怎么退出?
- MySQL 中decimal 的用法? 存儲(chǔ)小
- get 、set 、toString 方法的使
- @Resource和 @Autowired注解
- Java基礎(chǔ)操作-- 運(yùn)算符,流程控制 Flo
- 1. Int 和Integer 的區(qū)別,Jav
- spring @retryable不生效的一種
- Spring Security之認(rèn)證信息的處理
- Spring Security之認(rèn)證過濾器
- Spring Security概述快速入門
- Spring Security之配置體系
- 【SpringBoot】SpringCache
- Spring Security之基于方法配置權(quán)
- redisson分布式鎖中waittime的設(shè)
- maven:解決release錯(cuò)誤:Artif
- restTemplate使用總結(jié)
- Spring Security之安全異常處理
- MybatisPlus優(yōu)雅實(shí)現(xiàn)加密?
- Spring ioc容器與Bean的生命周期。
- 【探索SpringCloud】服務(wù)發(fā)現(xiàn)-Nac
- Spring Security之基于HttpR
- Redis 底層數(shù)據(jù)結(jié)構(gòu)-簡(jiǎn)單動(dòng)態(tài)字符串(SD
- arthas操作spring被代理目標(biāo)對(duì)象命令
- Spring中的單例模式應(yīng)用詳解
- 聊聊消息隊(duì)列,發(fā)送消息的4種方式
- bootspring第三方資源配置管理
- GIT同步修改后的遠(yuǎn)程分支