栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

强化学习学习笔记(一):初识强化学习

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

强化学习学习笔记(一):初识强化学习

一、强化学习及关键因素

        1.奖励:强化学习的目标就是要最大化在长时间里的总奖励。奖励有正有负,机器人花费的时间和能量就属于负奖励。

        2.策略:决策者会根据不同的观测决定采用不同的动作,这种从观测到动作的关系称为策略。强化学习试图修改策略以最大化奖励。

二、强化学习与监督学习和非监督学习的区别

        监督学习:知道每个动作的正确答案,可以通过逐步对比来学习。监督学习希望能将学习结果运用到未知的数据,要求结果可推广、可泛化。监督学习一般运用于判断、预测等任务,如判断图片的内容、预测股票价格等,而强化学习不适用于这样的任务;

        非监督学习:旨在发现数据之间隐含的结构,一般用于聚类等任务,而强化学习不适用于这样的任务;

        强化学习:只能通过奖励信号来学习,因为不知道每一步的正确答案,所以有较长的时延才能根据奖励知道正确与否(AlphaGo下围棋,只有这盘棋结束才知道之前的每一步下得好不好),所以强化学习注重更长远的性能。

三、智能体/环境接口

  

        1.智能体:一个强化学习系统里可以有一个或多个智能体。我们并不需要对智能体本身进行建模,只需要了解它(们)在不同环境下可以做出的动作,并接受奖励信号。

        2.环境:强化系统里除智能体意外的所有实物,是智能体交互的对象。

        3.智能体观测环境,获得环境的观测,记为

           智能体根据观测做出决策,决定对环境施加动作,记为

           环境受智能体动作的影响,改变自己的状态,记为,环境给决策者奖励,记为

           其中观测、动作、奖励是智能体可以直接观测到的。

        4.建模表述问题在第二章马尔科夫决策过程中详细介绍。

四、强化学习的分类

         深度强化学习:强化学习和深度学习是两个独立的概念。

         对于强化学习而言,在问题规模比较小时,能够获得精准解;当问题规模比较大时,常常使用近似的方法。

        深度学习则利用神经网络来近似复杂的输入/输出关系。

        对于规模比较大的强化学习问题,可以考虑利用深度学习来实现近似。

五、预备知识和预先准备

        基础概率论知识。一些明星算法比如AlphaGo需要学习微积分和深度学习。

        Python以及Python扩展库(Gym库、numpy、TensorFlow)

        os:我这技术方面是着实不过关,等所有理论整明白点再集中解决那些个技术问题。当然,Python实现部分也会更新学习笔记,敬请期待!

        

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/321186.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号