pandas中的drop_duplicates和duplicated的应用

  • 时间:
  • 来源:互联网

 在pandas中,duplicated和drop_duplicates函数用来对DateFrame来进行去重。

默认情况下,drop_duplicates只保留第一次出现的组合 ,如果需要保留最后一次出现的组合,需要使用keep='last'参数。

#!/usr/bin/python
# -*- coding: UTF-8 -*-

import pandas as pd
from pandas import Series, DataFrame
from numpy import nan as NA
import numpy as np
data2 = DataFrame({'k1': ['one', 'two'] * 3 + ['two'], 'k2': [1, 1, 2, 3, 3, 4, 4]})
print (data2)
#duplicated, 返回布尔型,表示是否重复, 在使用duplicated和drop_duplicates去重时
print (data2.duplicated())
print (data2.drop_duplicates())
data2['v'] = range(7)
print (data2)
#保留第一个重复出现的组合
print (data2.drop_duplicates(['k1']))
#保留最后一个出现的组合
print (data2.drop_duplicates(['k1','k2'], keep='last'))

本文链接http://element-ui.cn/news/show-2301.html