前言：

如果大家接觸過數(shù)據(jù)分析，那么大家可能都知道，最讓人頭疼的就是在數(shù)據(jù)錄入的過程中，不可避免的會產(chǎn)生重復(fù)值，缺失值和異常值了，python也提供了一些方法讓我們處理這些值。下面讓我們一塊來學(xué)習(xí)一下吧~

今天，先處理重復(fù)值，首先創(chuàng)建一個包含重復(fù)值的DataFrame,如下：

import pandas as pd
data = pd.DataFrame([[1,2],[1,2],[3,4]],columns = ['a','b'])
print(data)

我們將其打印出來，結(jié)果如下：

可以看出來第一第二行是重復(fù)的，這里的數(shù)據(jù)量比較少，可以直接肉眼觀察，但如果數(shù)據(jù)量多的時候，我們就需要用到diplicated()函數(shù)來查詢了，我們用它來查查上面data的重復(fù)值。

data[data.duplicated()]

我們可以看出，它把索引為1的行打印了出來，如果有3行一樣的呢？我們下面來試試！

import pandas as pd
data = pd.DataFrame([[1,2],[1,2],[1,2],[3,4]],columns = ['a','b'])
data[data.duplicated()]

其結(jié)果如下：

可以看出，重復(fù)項出了第一個出現(xiàn)的數(shù)據(jù)外，都會顯示出來。

如果想統(tǒng)計出一共有多少行重復(fù)了，我們就可以用到sum()函數(shù)，代碼如下：

data.duplicated().sum()

很多情況下，我們都需要刪除掉重復(fù)的數(shù)據(jù)，這時候我們就可以用到drop_duplicated()函數(shù)，我們將data的重復(fù)行刪除掉試試！

data.drop_duplicated()

剛執(zhí)行代碼時發(fā)生了錯誤，原來是duplicates而不是duplicated!

但是要注意，用drop_duplicates()刪除重復(fù)項并不會影響data的結(jié)構(gòu)，如果你要把data結(jié)構(gòu)改掉就要重新賦值。如果要用來刪除某列的重復(fù)值的話，直接在括號內(nèi)加上列名即可。

如下：