在我們日常接觸到的Python中，狹義的缺失值一般指DataFrame中的NaN。廣義的話，可以分為三種。

• 缺失值：在Pandas中的缺失值有三種：np.nan (Not a Number) 、 None 和 pd.NaT(時間格式的空值，注意大小寫不能錯)
• 空值：空值在Pandas中指的是空字符串""；
• 最后一類是導入的Excel等文件中，原本用于表示缺失值的字符“-”、“？”等。

今天聊聊Python中查詢缺失值的4種方法。

缺失值 NaN ①

在Pandas中查詢缺失值，最常用的?法就是isnull()，返回True表示此處為缺失值。

我們可以將其與any()?法搭配使用來查詢存在缺失值的行，也可以與sum()?法搭配使用來查詢存在缺失值的列。

• isnull()：對于缺失值，返回True；對于?缺失值，返回False。
• any()：?個序列中有?個True，則返回True，否則返回False。
• sum()：對序列進行求和計算。

在交互式環境中輸入如下命令：

df.isnull()

輸出：

在交互式環境中輸入如下命令：

df.isnull().any(axis=1)

輸出：

在交互式環境中輸入如下命令：

df.isnull().sum()

輸出：

注：isna()和isnull()的用法是相同的，這里不再演示

缺失值 NaN ②

由于在Pandas中isnull()方法返回True表示此處為缺失值，所以我們可以對數據集進行切片也可實現找到缺失值。

在交互式環境中輸入如下命令：

df[df.isnull().values==True]

輸出：

注意：如果某行有多個值是空值，則會重復次數出現，所以我們可以利用df[df.isnull().values==True].drop_duplicates()來去重。

另外，notnull()方法是與isnull()相對應的，使用它可以直接查詢非缺失值的數據行。

df[df["A列"].notnull()]

輸出：

空值

空值在Pandas中指的是空字符串""，我們同樣可以對數據集進行切片找到空值。

在交互式環境中輸入如下命令：

df[df["B列"]?==?""]

輸出：

此外，也可以利用空值與正常值的區別來區分兩者，比如isnumeric()方法檢測字符串是否只由數字組成。

在交互式環境中輸入如下命令：

df[df["B列"].str.isnumeric()?==?False?]

輸出：

如上所示，同樣查詢到了數據集中的空值。

字符“-”、“？”等

很多時候，我們要處理的是本地的歷史數據文件，在這些Excel中往往并不規范，比如它們有可能會使用“*”、“？”、“—”、“！”等等字符來表示缺失值。

對于這類文本，我們可以使用正則表達式來匹配缺失值。

import?re
df[df["C列"].apply(lambda?x:?len(re.findall('NA|[*|?|!|#|-]',?x))?!=?0)]

輸出：

如上所示，我自定義了匿名函數lambda，作用是在文本列的每一行中查找以下文本值：“NA”、“*”、“？” 、“！” 、“#”、“-”，并檢查它找到的列表的長度。如果列表不為零，則表示找到了代表缺失值的字符，因此該行中至少有一個缺失值。

df[df["D列"].apply(lambda?x:?len(re.findall('NA|[*|?|!|#|-]',?x))?!=?0)]

輸出：

我們可以對不同列都進行同樣的缺失值查詢，另外也可以根據自己的實際情況，替換正則表達式中代表缺失值的字符。