最近在做CTR预估的项目，遇到了一个小问题，即用户短时间频繁的点击的item是干扰项，在分析数据后觉得应该去重。查阅资料后解决了问题
用到的方法Python Pandas dataframe.diff()：
Pandas dataframe.diff()用于查找给定轴上对象的第一个离散差异。我们可以提供一个周期值来移动以形成差。
用法： DataFrame.diff(periods=1, axis=0)
Pythopn Pandas duplicated()函数:
去重函数
#按照用户ID，itemID，点击时间的顺序排序
action_data__ = action_data_.sort_values(['user_log_acct','item_sku_id','request_tm'])
#计算两个点击事件之间的时间差
action_data_['time_diff'] = action_data_['request_tm'].diff()
#上述计算时间差为data time类型，转换为秒为单位
action_data_['time_diff'] = action_data_['time_diff'].astype('timedelta64[s]')
#去重函数判断是否为重复item
action_data_['sim'] = action_data_.loc[:,['user_log_acct','item_sku_id']].duplicated()
#筛选符合条件的记录，小于点击间隔阈值并且重复的item去掉
action_data_ = action_data_[~(action_data_['sim'] & action_data_['time_diff']< cut_off )]
