完成了任务1
首先训练数据集有700多万条，所有我用pandas每70万条训练一次。
听别人推荐使用dask来训练大数据集，但我看了一下午，还是有些不熟悉，边训练边学习吧。
付一下源代码：
import pandas as pd
import numpy as np
import dask.array as da
import dask.dataframe as dd
import dask
import matplotlib.pyplot as plt
dfs_train = pd.read_csv('train/train_data_ads.csv' ,chunksize = 700000 , usecols=['log_id', 'label', 'user_id', 'age', 'gender', 'residence', 'device_name',
'device_size', 'net_type', 'task_id', 'adv_id', 'creat_type_cd'])
for df_train in dfs_train:
break
df_train.info()
df_test = pd.read_csv('test/test_data_ads.csv', usecols=['log_id', 'user_id', 'age', 'gender', 'residence', 'device_name',
'device_size', 'net_type', 'task_id', 'adv_id', 'creat_type_cd'])
from sklearn.linear_model import LogisticRegression
clf = LogisticRegression()
clf.fit(df_train.drop(columns = ['log_id', 'user_id', 'label']), df_train['label'])
df_test['pctr'] =clf.predict_proba(df_test.drop(columns = ['log_id' , 'user_id']))[:, 1]
df_test[ ['log_id', 'pctr']].to_csv('submission.csv', index = False)
