【Pytorch】机器学习入门实践以Titanic为例

前言

最近学习了B站刘二大人的机器学习教程，传送门PyTorch深度学习实践——加载数据集。

课后习题为在Kaggle上找机器学习（ML）项目练手，Titanic问题是官方的入门项目，在此做一个记录。

一、处理数据集

在此次竞赛的目标是给定乘客的一些信息，使用机器学习创建一个模型，预测哪些乘客在泰坦尼克号沉船中幸存下来，即预测Survival为0还是1。这里Kaggle提供了三个数据集：test.csv是用来测试模型时所使用的数据集；train.csv是训练模型时所使用的数据集，里面带有标签；gender_submission.csv是上传文件范例，即我们需要按着这里面要求的数据格式将模型训练得到的结果上传到Kaggle上去验证。

打开train.csv,查看里面的数据格式，依据官方给出的说明，确定各列的含义。

PassengerId：乘客ID，是乘客的唯一标示符
Survived：乘客是否存活，相当于标签
Pclass：乘客坐的是几等座，分为1,2,3三个等级
Name：乘客的名字
Sex：乘客的性别，分为female/male
Age：乘客的年龄，需要注意的是这列数据中有缺失值
SibSp：乘客的兄弟/配偶在船上的数量
Parch：乘客的父母/子女在船上的数量
Ticket：乘客船票的编号
Fare：乘客船票的价格
Cabin：乘客的房间号
Embarked：乘客的出发港，分为C、Q、S三个

首先需要对特征进行一定的筛选，有一些特征我认为是对分类没有帮助或者不好处理的，比如Name、Ticket、Cabin，于是直接舍弃这几项特征，直接对剩下的特征进行建模，这里我选择了Pclass、Sex、Age、SibSp、Parch、Embarked等六个特征作为初始的targets，Survived作为初始的labels，同时将含有空数据的行剔除，共得到712行有效行（list）。

targets = torch.Tensor(list[:,:-1])
labels = torch.Tensor(list[:,[-1]])

二、使用pytorch构建模型训练

使用最简单的全连接层+激活函数的配置，从torch.nn中继承module类，构建模型如下：

class Model(nn.Module):

    def __init__(self):
        super(Model, self).__init__()
        self.linear1 = nn.Linear(6,4)
        self.linear2 = nn.Linear(4,2)
        self.linear3 = nn.Linear(2,1)
        self.sigmod = nn.Sigmod()

    def forward(self,x):
        x = self.sigmod(self.linear1(x))
        x = self.sigmod(self.linear2(x))
        x = self.sigmod(self.linear3(x))
        return x

训练也很简单，先设置好优化器和loss函数，然后读取数据进行正向传播，最后进行反向梯度传播并更新权重就可以了：

criterion = nn.BCELoss()
optimizer = torch.optim.Adam(model.parameters(),lr = 0.1)

for epoch in range(100000):
    pred = model(targets)
    # print(pred.size())
    loss = criterion(pred,labels)
    print(epoch,loss.item())

    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

部分训练结果如下，因为特征构建与模型都很简单，所以没有太高的准确率。

三. 上传测试结果

用训练好的模型在测试集上进行预测

y_pred = model(targets_test)
y_pred = torch.where(y_pred>0.5,torch.Tensor([1.]),torch.tensor([0.]))

得到官方要求格式的预测文件后，就可以去Kaggle官网上传结果了，在比赛主页点击Submit Predictions进入上传页面后，上传得到的csv文件即可。

上传完毕后会给一个评分，点击评分下面的蓝色链接会给你看你的排名数据，我这个差不多排到一万八千多名以后了，看排名靠前的都有100%的预测准确率，说明对于这个任务，不管是在特征工程还是在模型方面都还有很大的上升空间的。

【Pytorch】机器学习入门实践 以Titanic为例

三. 上传测试结果

Python相关栏目本月热门文章

【Pytorch】机器学习入门实践以Titanic为例