要處理文本數(shù)據(jù)，需要比數(shù)字類型的數(shù)據(jù)更多的清理步驟。為了從文本數(shù)據(jù)中提取有用和信息，通常需要執(zhí)行幾個(gè)預(yù)處理和過(guò)濾步驟。

Pandas 庫(kù)有許多可以輕松簡(jiǎn)單地處理文本數(shù)據(jù)函數(shù)和方法。在本文中，我介紹將學(xué)習(xí) 5 種可用于過(guò)濾文本數(shù)據(jù)（即字符串）的不同方法：

• 是否包含一系列字符
• 求字符串的長(zhǎng)度
• 判斷以特定的字符序列開(kāi)始或結(jié)束
• 判斷字符為數(shù)字或字母數(shù)字
• 查找特定字符序列的出現(xiàn)次數(shù)

首先我們導(dǎo)入庫(kù)和數(shù)據(jù)

 import pandas as pd
 df = pd.read_csv("example.csv")
 df

我們這個(gè)樣例的DataFrame 包含 6 行和 4 列。我們將使用不同的方法來(lái)處理 DataFrame 中的行。第一個(gè)過(guò)濾操作是檢查字符串是否包含特定的單詞或字符序列，使用 contains 方法查找描述字段包含“used car”的行。但是要獲得pandas中的字符串需要通過(guò) Pandas 的 str 訪問(wèn)器，代碼如下：

 df[df["description"].str.contains("used car")]

但是為了在這個(gè)DataFrame中找到所有的二手車，我們需要分別查找“used”和“car”這兩個(gè)詞，因?yàn)檫@兩個(gè)詞可能同時(shí)出現(xiàn)，但是并不是連接在一起的：

 df[df["description"].str.contains("used") &
    df["description"].str.contains("car")]

可以看到最后一行包含“car”和“used”，但不是一起。

下一個(gè)方法是根據(jù)字符串的長(zhǎng)度進(jìn)行過(guò)濾。假設(shè)我們只對(duì)超過(guò) 15 個(gè)字符的描述感興趣。可以使用內(nèi)置的 len 函數(shù)來(lái)執(zhí)行此操作，如下所示：

df[df["description"].apply(lambda x: len(x) > 15)]

這里就需要編寫(xiě)了一個(gè) lambda 表達(dá)式，通過(guò)在表達(dá)式中使用 len 函數(shù)獲取長(zhǎng)度并使用apply函數(shù)將其應(yīng)用到每一行。執(zhí)行此操作的更常用和有效的方法是通過(guò) str 訪問(wèn)器來(lái)進(jìn)行：

df[df["description"].str.len() > 15]

我們可以分別使用startswith和endswith基于字符串的第一個(gè)或最后一個(gè)字母進(jìn)行過(guò)濾。

df[df["lot"].str.startswith("A")]

這個(gè)方法也能夠檢查前 n 個(gè)字符。例如，我們可以選擇以“A-0”開(kāi)頭的行：

df[df["lot"].str.startswith("A-0")]

Python 的內(nèi)置的字符串函數(shù)都可以應(yīng)用到Pandas DataFrames 中。例如，在價(jià)格列中，有一些非數(shù)字字符，如 $ 和 k。我們可以使用 isnumeric 函數(shù)過(guò)濾掉。

df[df["price"].apply(lambda x: x.isnumeric()==True)]

同樣如果需要保留字母數(shù)字（即只有字母和數(shù)字），可以使用 isalphanum 函數(shù)，用法與上面相同。

count 方法可以計(jì)算單個(gè)字符或字符序列的出現(xiàn)次數(shù)。例如，查找一個(gè)單詞或字符出現(xiàn)的次數(shù)。

我們這里統(tǒng)計(jì)描述欄中的“used”的出現(xiàn)次數(shù)：

 df["description"].str.count("used")
 
 # 結(jié)果
 0    1
 1    0
 2    1
 3    1
 4    1
 5    0
 Name: description, dtype: int64

如果想使用它進(jìn)行條件過(guò)濾，只需將其與一個(gè)值進(jìn)行比較，如下所示：

 df[df["description"].str.count("used") < 1]

非常簡(jiǎn)單吧

本文介紹了基于字符串值的 5 種不同的 Pandas DataFrames 方式。雖然一般情況下我們更關(guān)注數(shù)值類型的數(shù)據(jù)，但文本數(shù)據(jù)同樣重要，并且包含許多有價(jià)值的信息。能夠?qū)ξ谋緮?shù)據(jù)進(jìn)行清理和預(yù)處理對(duì)于數(shù)據(jù)分析和建模至關(guān)重要。

附：pandas 中 按條件過(guò)濾字符串類型的值

一、使用~對(duì)字符串值取反：

1、測(cè)試數(shù)據(jù)

test_df
    total_bill    tip    smoker    day    time    size    tip_pct
57    26.41    1.50    No    Sat    Dinner    2    0.056797
0    16.99    1.01    No    Sun    Dinner    2    0.059447
48    28.55    2.05    No    Sun    Dinner    3    0.071804
146    18.64    1.36    No    Thur    Lunch    3    0.072961
130    19.08    1.50    No    Thur    Lunch    2    0.078616
237    32.83    1.17    Yes    Sat    Dinner    2    0.035638
102    44.30    2.50    Yes    Sat    Dinner    3    0.056433
187    30.46    2.00    Yes    Sun    Dinner    5    0.065660
210    30.06    2.00    Yes    Sat    Dinner    3    0.066534
240    27.18    2.00    Yes    Sat    Dinner    2    0.073584

2、需求：取出 day 字段中值不為 ‘Sta’,‘Sun’ 的記錄

test_df[~test_df['day'].str.contains('|'.join(['Sat', 'Sun']))]
    total_bill    tip    smoker    day    time    size    tip_pct
146    18.64    1.36    No    Thur    Lunch    3    0.072961
130    19.08    1.50    No    Thur    Lunch    2    0.078616

總結(jié)