python数据处理常用方法记录

本文仅为记录在日常工作中学到的一些常用数据处理方法，后期会持续进行更新。

import pandas as pd
# 需要判断的字符串
pd_str = [1,2,3,9]
data = pd.Dataframe([
	[123456,654389,125799],
	[23456,7856552,7658809],
	[3456,678234,7796435]], 
	columns=['a','b', 'c'])
data.a.str.contains('|'.join(pd_str))

import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randint(1,1000, size=(10,10)),columns=['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j'])
# 滑动窗口尺寸为3，使用均值填充原有值
df.h = df.a.rolling(window=3,center=True).mean()
# 滑动窗口尺寸为4，使用求和值填充原有值
df.h = df.a.rolling(window=4,center=True).sum()
# 滑动窗口尺寸为5，使用方差填充原有值
df.h = df.a.rolling(window=5,center=True).var()

datafram.sample(20000, replace=True)
参数说明：
	20000：是想要的数据量
	replace：是否同意重复

from scipy.sparse import csr_matrix   # 矩阵压缩
# 直接用
csr_matrix(np.identity(5))

from sklearn.feature_extraction.text import CountVectorizer
countvectorizer = CountVectorizer(token_pattern="\bw+\b",max_features=500)