- Task01：西瓜书+南瓜书第1、2章
- 第1章 绪论
- 一些概念
- 第2章 模型评估与选择
- 一些概念
- 一些知识
- · NP难问题
- · 多项式时间
- · 机器学习的参数
- · 归一化
- △ 评估方法
- · 留出法
- · 交叉验证法
- · 自助法
- · 调参与最终模型
- △ 性能度量
- · 错误率与精度
- · 查准率、查全率与F1
- · ROC与AUC
- · 代价敏感错误率与代价曲线
- △ 比较检验
- 【待完善】
- △ 偏差与方差
- · 偏差方差分解
- Task02：详读西瓜书+南瓜书第3章
- 第3章 线性模型
- 一些概念
- 一些知识
- · 线性模型基本形式
- · 最小二乘法
- · 正则化
- · arg min
- · 极大似然估计
- · 凸集、凸函数
- · 梯度
- · Hessian矩阵
- · 机器学习三要素
- △ 线性回归
- ○ 一元线性回归
- · 最小二乘估计
- · 极大似然估计
- · 求解w和b
事情是这样的，我报名了DataWhale的关于机器学习课程的组队学习，本次的学习内容是西瓜书和南瓜书的1-6章。虽然说是有组织的学习，但是其实学习方式还是自己看书和看视频，但是有DataWhale提供的学习资料和讨论群，并且有打卡时间的限制，希望自己能坚持下来，把很久很久以前买的这本西瓜书啃一啃。
❤ 2022.7.11 ❤
Task01：西瓜书+南瓜书第1、2章 第1章 绪论〇 什么是机器学习
书里给的定义是这样的：
数据集" (data set)
示例" (instance)
样本" (samp1e).
属性" (attribute)
特征" (feature)
属性值" (attribute va1ue).
属性空间" (attribute space)
样本空间" (samp1e space)
特征向量" (feature vector)
维数" (dimensionality)
学习" (lerning)
训练" (training)
训练数据" (training data)
训练样本" (training samp1e)
训练集" (training set)
假设" (hypothesis);
真实" (ground-truth)
学习器" (learner)
预测" (prediction)
标记" (labe1)
样例" (examp1e)
标记空间" (label space)
分类" (classification)
回归" (regression)
二分类" (binary cl sification)
正类" (positive class)
反类" (negative class);
多分类" (multi-class classification)
测试" (testing)
测试样本" (testing sample).
聚类" (clustering)
簇" (cluster)
监督学习" (supervised learning)
无监督学习" (unsupervised learning)
泛化" (generalization)
分布" (distribution)
独立同分布" (independent and identically distributed ，简称 i.i.d.)
归纳(induction)
横绎(deduction)
特化" (specialization)
归纳学习" (inductive learning)
概念(concept)
版本空间" (version space)
归纳偏好" (inductive bias)
〇 没有免费的午餐定理
第2章 模型评估与选择 一些概念
错误率" (error rate)
精度" (accracy)
误差" (error)
训练误差" (training error)
经验误差" (empirical error)
泛化误差" (generalization error)
过拟合" (overfitting)
欠拟合" (underfitting)
模型选择" (model selection)
测试集 (testing set)
留出法" (hold-out)
来样(sampling)
分层采样" (stratified sampling)
的真性(fidelity)
交叉验证法" (cross alidation)
k折交叉验证" (k-fold cross validation)
自助法" (bootstrapping)
自助采样(bootstrap sampling)
包外估计" (out-of-bag estimate).
调参" (parameter tuning).
性能度量(performance measure)
均方误差" (mean squared error)
查准率(precision)
查全率(recall)
真正例(true positive)
假正例 (false positive)
真反倒(true negative)
假反例 (false negative)
平衡点 (Break-Event Point ，简称 BEP)
分类阔值(threshold)
截断点" (cut point)
ROC受试者工作特征" (Receiver Operating Characteristic)
真正例率" (True Positive Rate ，简称 TPR)
假正例率" (False Positive Rate ，简称 FPR)
非均等代价" (unequa1 cost)
“代价矩阵” (cost matrix)
总体代价" (total cost)
代价敏感" (cost-sensitive)
代价曲线" (cost curve)
统计假设检验(hypothesis test)
二项检验" (binomial test)
置信度 confidence)
t 检验" (t-test)
成对t检验" (paired t-tests )
列联衷" (contingency table)
后续检验" (post-hoc test)
偏差方差分解" (bias-variance decomposition)
→科普，什么是“NP难”的问题。专业的解释俺看不懂。这个文章里面举了几个例子，俺一下就明白了。
· 多项式时间→多项式时间
· 机器学习的参数 · 归一化→ 如何理解归一化（normalization）?
△ 评估方法 · 留出法 · 交叉验证法 · 自助法 · 调参与最终模型
※
△ 性能度量 · 错误率与精度
（公式略）
△ 比较检验
遥记得当年学习数理统计的时候学过这些内容，奈何全都还给老师了。。。。（虽然当时也没有听懂。。。）
现在看这些东西还是不太懂，这里留着以后把相关的笔记补上吧。
〇 假设检验
〇 交叉验证t检验
〇 McNemar检验
〇 Friedman 检验与 Nemenyi后续检验
Task02：详读西瓜书+南瓜书第3章 第3章 线性模型 一些概念
线性模型(linear model)
非线性模型(nonlinear model)
解释’性 (comprehensibility)
线性回归" (linear regression)
欧氏距离" (Euclidean distance)
最小二乘法" (least squ method)
参数估计" (p ameter estimation)
多元线性回归" (multivariate linear regression)
正则化 (regularization)
对数线性回归" (log-linear regression）
广义线性模型" (generalized linear model)
联系函数" (link fun ti n)
几率" (odds)
“对数几率” (log odds ，亦称 logit)
对数几率回归" (logistic regression ，亦称 logit regression)
极大似然法" (maximum likelihood method)
对数似然" (loglikelihood)
→ 最小二乘法（least sqaure method）
· 正则化→正则化详解
· arg min
arg min 的意思是是这个式子得到最小值的w和b
→ 一文搞懂极大似然估计
· 凸集、凸函数→ 机器学习概念篇：一文详解凸函数和凸优化，干货满满
· 梯度 · Hessian矩阵 · 机器学习三要素这里凹凸的定义和数学里面的定义是反的，这里是用最优化理论的定义
△ 线性回归 ○ 一元线性回归
※ 教材推荐：陈希孺《概率论与数理统计》
从线性模型的误差推导出y的概率分布
用最大似然估计的方法分析出来的公式与最小二乘法相同
· 求解w和b
解释西瓜书上54页公式（3.5）—（3.7），为什么偏导数得0是就是w和b的最优解
到此证明了损失函数是个凸函数，接下来应用凸函数的性质就可以求出最优解。
即偏导数等于0时，求w和b结果如下，过程见南瓜书。
暑期编程PK赛 得CSDN机械键盘等精美礼品！
