<强化学习> on policy VS off policy

默认价值函数为Q(s,a)，策略迭代更新为pai <—— epsilon-greedy(Q)

policy是agent的属性，决定了agent面对某状态s时会选择哪个行为a

value是agent的感觉，代表着agent对某个(s,a)的感觉，感觉它好感觉它不好

强化学习迭代过程中，

policy-evaluation是获取agent按照当前policy会产生的所有感觉，即获取Qpai ；

policy-improvement是根据感觉Q生成一个更好的policy

on policy和off policy是policy_evaluation过程中区分的两种方式

Q(s,a) <——r + lamda * Q(s‘,a‘)

on policy是我做了这个行为a之后，后继的所有收获都以我的策略我的眼光来估定；td_target = r + lamda * Q(s‘,a‘) ，(s‘,a‘)产自我的policy

off policy是我做了这个行为a之后，后继以别人的眼光别人的策略来固定； td_target = r + lamda*Q(s‘,a‘) ， (s‘,a‘)产自别人的policy

原文地址：https://www.cnblogs.com/dynmi/p/12334734.html

时间： 2024-10-09 18:33:11

<强化学习> on policy VS off policy的相关文章

[Reinforcement Learning] 强化学习介绍

随着AlphaGo和AlphaZero的出现,强化学习相关算法在这几年引起了学术界和工业界的重视.最近也翻了很多强化学习的资料,有时间了还是得自己动脑筋整理一下. 强化学习定义先借用维基百科上对强化学习的标准定义: 强化学习(Reinforcement Learning,简称RL)是机器学习中的一个领域,强调如何基于环境而行动,以取得最大化的预期利益. 从本质上看,强化学习是一个通用的问题解决框架,其核心思想是 Trial & Error. 强化学习可以用一个闭环示意图来表示: 强化学习四元素

深度强化学习（Deep Reinforcement Learning）入门：RL base & DQN-DDPG-A3C introduction

转自https://zhuanlan.zhihu.com/p/25239682 过去的一段时间在深度强化学习领域投入了不少精力,工作中也在应用DRL解决业务问题.子曰:温故而知新,在进一步深入研究和应用DRL前,阶段性的整理下相关知识点.本文集中在DRL的model-free方法的Value-based和Policy-base方法,详细介绍下RL的基本概念和Value-based DQN,Policy-based DDPG两个主要算法,对目前state-of-art的算法(A3C)详细介绍,其他

什么是强化学习？

Reinforcement learning 是机器学习里面的一个分支,特别善於控制一只能够在某个环境下自主行动的个体 (autonomous agent),透过和环境之间的互动,例如 sensory perception 和 rewards,而不断改进它的行为 . 听到强化学习,你脑里应该浮现一只曱甴那样的小昆虫,那就是 autonomous agent 的形象: 对「环境」(environment) 这概念,你应该想到像以下这经典游戏的迷宫: 包括有追捕你的怪物.和吃了会加分的食物

强化学习之智能出租车项目总结

项目介绍这是优达学院机器学习课程的第4个实习项目,需要训练智能出租车学习交通规则,然后安全可靠地到达目的地.项目通过循序渐进的方式展开,从熟悉基本的领域知识开始,再以随机动作来直观感受智能车的状态,也是在这一步,让初学者有了心潮澎湃的感觉,"车终于动了!",是的,从0开始一路走来,以游戏闯关的方式,终于来到了4级,第一次体验了传说中的"智能"了,也许是"眼见为实"吧,小车在自己算法的控制之下行动,是一种很美好的感受.然后项目通过引导,让大家开始

adaptive heuristic critic 自适应启发评价强化学习

https://www.cs.cmu.edu/afs/cs/project/jair/pub/volume4/kaelbling96a-html/node24.html [旧知-新知强化学习:对新知.旧知的综合] The adaptive heuristic critic algorithm is an adaptive version of policy iteration [9] in which the value-function computation is no longer

CS229 - MachineLearning - 12 强化学习笔记

Ng的机器学习课,课程资源:cs229-课件网易公开课-视频问题数学模型: 五元组{S.a.Psa.γ.R},分别对应 {状态.行为.状态s下做出a行为的概率.常数.回报}. 优化目标: 选择一个policy以获得最佳报酬:E[R(s0)+γR(s1)+γ2R(s2)+......],常数γ的存在可以保证尽量快地获得收益. 优化函数: 根据贝尔曼方程, R(s)表示执行此策略获得的直接收益,后面那一堆是执行了此策略以后再后面的行为获得的收益. 最优策略满足: 那么在s状态下的最有策略是

深度强化学习之：模仿学习（imitation learning）

深度强化学习之:模仿学习(imitation learning) 2017.12.10 本文所涉及到的模仿学习,则是从给定的展示中进行学习.机器在这个过程中,也和环境进行交互,但是,并没有显示的得到 reward.在某些任务上,也很难定义 reward.如:自动驾驶,撞死一人,reward为多少,撞到一辆车,reward 为多少,撞到小动物,reward 为多少,撞到 X,reward 又是多少,诸如此类...而某些人类所定义的 reward,可能会造成不可控制的行为,如:我们想让 agent

分布式强化学习基础概念（Distributional RL ）

分布式强化学习基础概念(Distributional RL) from: https://mtomassoli.github.io/2017/12/08/distributional_rl/ 1. Q-learning 在 Q-learning 中,我们想要优化如下的 loss: Distributional RL 的主要思想是:to work directly with the full distribution of the return rather than with its expec

浅谈强化学习的方法及学习路线

介绍目前,对于全球科学家而言,“如何去学习一种新技能”成为了一个最基本的研究问题.为什么要解决这个问题的初衷是显而易见的,如果我们理解了这个问题,那么我们可以使人类做一些我们以前可能没有想到的事.或者,我们可以训练去做更多的“人类”工作,常遭一个真正的人工智能时代. 虽然,对于上述问题,我们目前还没有一个完整的答案去解释,但是有一些事情是可以理解的.先不考虑技能的学习,我们首先需要与环境进行交互.无论我们是学习驾驶汽车还是婴儿学习走路,学习都是基于和环境的相互交互.从互动中学习是所有智力发展和