栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

NLP入门|《统计学习方法》学习(七)|最大熵模型

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

NLP入门|《统计学习方法》学习(七)|最大熵模型

导读

mark一下学习最大熵模型这一部分时注意到的一些知识点~
声明:以下截图来自书本以及b站课程(up主:简博士)。

一、最大熵原理

最大熵原理认为,在所有可能的概率模型中,熵最大的模型是是最好的模型。

二、最大熵模型 1. 模型介绍


其中Ep是真实分布,而有~的是经验分布。

2. 拉格朗日乘子法



同时,可以将有约束的最优原始问题转化为无约束的对偶问题进行求解,需要满足的条件是:

3. 最大熵模型的学习



接着需要对每一个P(y|x)求偏导数,并令其等于0进行求解。

未完待续

本寒假对于《统计学习方法》一书的学习就到此暂时告一段落啦,后续会缓慢更新进行补充~
下面准备开一个新坑——吴恩达的机器学习系列课程!

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/725870.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号