PyTorch

1.Overview

1.为什么要进行特征提取？ 维度诅咒：特征越多，纬度越高，表示特征所需的数据指数上升。
2.反向传播：核心：计算图

算法 数据集 算力

• 深度学习
  • 基本 线性代数+概率论与数理统计+python
  • 少于一年时间
• TensorFlow
• Caffe 2
• PyTorch

2.Linear Model

过拟合
泛化能力

1. The machine starts with a random guess, w=random value
2. Training Loss(Error)
3. Mean Square Error

3.Gradient Descent

Stochastic Gradient Descent

4.Back Propagation

先前馈再反馈

• Tensor：PyTorch中的类，包含两个数据类型： Data ，grad

5.Linear Regression with PyTorch

1. prepare dataset
2. design model using class
3. construct loss and optimizer (using PyTorch)
4. Training cycle (forward,backward,update)
   重点是构造计算图
   _init() /forward() 必需
5. y_hat
6. loss
7. backward
8. 更新

6.Logistic Regression 7.Multiple Dimension Input 8.Dataset and DataLoader

Dataset:加载数据、索引；DataLoader：Mini—Batch

# Training cycle
for epoch in range(training_epochs):
  # Loop over all batches
  for i in range(total_batch):  

epoch;batch_size
shuffle=True:打乱顺序

9.Softmax Classifier 1.理论《深度学习》 2.阅读PyTorch文档（通读一遍） 3.复现经典工作 4.扩充视野