强化学习(二):马尔可夫决策过程

Finite Markov Decision Process

马尔可夫决策过程(MDP)是对连续决策进行建模,当前的动作不仅对当前产生影响,而且还会对将来的的情况产生影响,如果从奖励的角度,即MDP不仅影响即时的奖励,而且还会影响将来的长期奖励,因此,MDP需要对即时奖励与长期奖励的获得进行权衡。

The Agent-Environment Interface

MDP定义了从交互中学习的框架,决策者(或称为学习者)称为Agent,那与agent交互的所有统称为environment. 二者是连续地进行交互,当agent采取某一动作时,environment对这个动作进行反应,将agent置于新情形,称为状态(state),并且也会对agent的动作进行打分,称为奖励(reward).

定义环境的状态:\(S_t \in \mathcal{S}\) , 动作\(A_t \in \mathcal{A(s)}\), 奖励\(R_{t+1}\in \mathcal{R}\)(注意,这里不同的书惯例是不同的,这里采用的是,当前t时刻agent采取的行动\(A_t\),环境对其反应的结果是产生\(S_{t+1},\ R_{t+1}\) ,即即时奖励是是在t+1时刻获得)。MDP因此会产生一个包含状态,动作与奖励的决策序列(称为sequence或trajectory):

\[
S_0,A_0,R_1,S_1,A_1,R_2,...
\]

而且,\(S_t,R_t\)的分布只取决于前一时刻的状态与动作:

\[
p(s‘,r|s,a) = Pr\{S_t = s‘,R_t=r|S_{t-1} = s,A_{t-1} = a\}
\]

其满足:

\[
\sum_{s‘\in\mathcal{S}}\sum_{r\in \mathcal{R}}p(s‘,r|s,a) = 1,\qquad \forall s\in \mathcal{S},a\in \mathcal{A(s)}
\]

有了上面的公式,我们可以推导出很多有用的公式,比如,状态转移概率(state-transition probabilities):

\[
p(s‘|s,a)\dot = Pr{S_t = s‘|S_{t-1} = s,A_{t-1} = a} = \sum_{r\in R}p(s‘,r|s,a)
\]

也可以得到状态-动作对的期望奖励:

\[
r(s,a) \dot = E[R_t| S_{t-1} = s, A_{t-1} = a] = \sum_{r\in \mathcal{R}}r \sum_{s‘\in \mathcal{S}}p(s‘,r|s,a)
\]

Goals and Rewards

Agent的目标是最大化它能得到的所有奖励的总和,也即最大化累积奖励。使用奖励作为agent的目标,这也是强化学习区别其其它机器学习方法的最显著特征之一。

Returns and Episodes

最大化累积奖励是agent的目标,为能量化这个目标,引入一个概念Returns(用\(G_t\)表示):

\[
G_t \dot = f(R_{t+1},R_{t+2},...,R_T)
\]

其中f是某种映射,T为最后一时间步。

通常最大化Returns的期望:

\[
\max E G_t
\]

\(G_t\)比较常见的版本是加和与折扣(discounted)加和:

\[
G_t \dot = R_{t+1} + R_{t+2} +...+R_T
\]

\[
G_t \dot = R_{t+1} + \gamma R_{t+2} + \gamma^2R_{t+3}+ ... =\sum_{k = 0}^{\infty} r^k R_{t+k+1}
\]

其中\(0\le \gamma\le 1\),称为discount rate.

Policies and Value Functions

策略(policy)是从状态到选择可能动作概率的映射。\(\pi(a|s)\) 表示在状态a下执行动作能的概率。

在给定策略下,状态s的价值函数(value function)是从其状态到最终的期望收益(expected return):

\[
v_{\pi}(s) \dot = E_{\pi} [G_t |S_t = s] = E_{\pi} \big[\sum_{k =0}^{\infty}\gamma^kR_{t+k+1}\big|S_t = s \big], \quad \forall s\in \mathcal{S}
\]

也可得到动作-价值函数:

\[
q_{\pi}(s,a) \dot = E_{\pi} [G_t |S_t = s,A_t = a] = E_{\pi} \big[\sum_{k =0}^{\infty}\gamma^kR_{t+k+1}\big|S_t = s,A_t = a \big], \quad \forall s\in \mathcal{S},a \in \mathcal{A}
\]

如果我们有一个最优策略(\(\pi_*\)),那么这个策略(可能不只一种)可以让价值函数获得最大值,并且根据Bellman equation, 可以得得到如下推导:

\[
\begin{array}\v_*(s)& =& \max_{a\in \mathcal{A(s)}} = q_{\pi_*}(s,a)\&=& \max_aE_{\pi^*}[G_t|S_t = s, A_t = a]\&=& \max_aE[R_{t+1}+\gamma v_*(S_{t+1})|S_t = s,A_t = a]\& =&\max_a \sum_{s‘,r}p(s‘,r|s,a)[r + \gamma v_*(s‘)]
\end{array}
\]

同理:

\[
q_*(s,a) = E[R_{t+1} + \gamma \max_{a‘}q_*(S_{t+1},a‘)|S_t = s,A_t = a]= \sum_{s‘,r}p(s‘,r|s,a)[r + \gamma\max_{a‘}q_*(s‘,a‘)]
\]

使用 backup diagrams:

原文地址:https://www.cnblogs.com/vpegasus/p/finite_mdp.html

时间: 2024-10-01 00:38:31

强化学习(二):马尔可夫决策过程的相关文章

【强化学习】马尔可夫决策过程(MDP)基本原理

\1. 马尔可夫模型的几类子模型 大家应该还记得马尔科夫链(Markov Chain),了解机器学习的也都知道隐马尔可夫模型(Hidden Markov Model,HMM).它们具有的一个共同性质就是马尔可夫性(无后效性),也就是指系统的下个状态只与当前状态信息有关,而与更早之前的状态无关. 马尔可夫决策过程(Markov Decision Process, MDP)也具有马尔可夫性,与上面不同的是MDP考虑了动作,即系统下个状态不仅和当前的状态有关,也和当前采取的动作有关.还是举下棋的例子,

David Silver强化学习Lecture2:马尔可夫决策过程

课件:Lecture 2: Markov Decision Processes 视频:David Silver深度强化学习第2课 - 简介 (中文字幕) 马尔可夫过程 马尔可夫决策过程简介 马尔可夫决策过程(Markov Decision Processes, MDPs)形式上用来描述强化学习中的环境. 其中,环境是完全可观测的(fully observable),即当前状态可以完全表征过程. 几乎所有的强化学习问题都能用MDPs来描述: 最优控制问题可以描述成连续MDPs; 部分观测环境可以转

【cs229-Lecture16】马尔可夫决策过程

之前讲了监督学习和无监督学习,今天主要讲"强化学习". 马尔科夫决策过程:Markov Decision Process(MDP) 价值函数:value function 值迭代:value iteration(算法,解决MDP) 政策迭代:policy iteration(算法,解决MDP) 什么是强化学习? 强化学习(reinforcement learning,又称再励学习,评价学习)是一种重要的机器学习方法,在智能控制机器人及分析预测等领域有许多应用.但在传统的机器学习分类中没

【RL系列】马尔可夫决策过程——状态价值评价与动作价值评价的统一

请先阅读上两篇文章: [RL系列]马尔可夫决策过程中状态价值函数的一般形式 [RL系列]马尔可夫决策过程与动态编程 状态价值函数,顾名思义,就是用于状态价值评价(SVE)的.典型的问题有"格子世界(GridWorld)"游戏(什么是格子世界?可以参考:Dynamic programming in Python),高尔夫游戏,这类问题的本质还是求解最优路径,共性是在学习过程中每一步都会由一个动作产生一个特定的状态,而到达该状态所获得的奖励是固定的,与如何到达,也就是之前的动作是无关的,并

马尔可夫决策过程MDP

1. 马尔可夫模型的几类子模型 马尔科夫链(Markov Chain),了解机器学习的也都知道隐马尔可夫模型(Hidden Markov Model,HMM).它们具有的一个共同性质就是马尔可夫性(无后效性),也就是指系统的下个状态只与当前状态信息有关,而与更早之前的状态无关. 马尔可夫决策过程(Markov Decision Process, MDP)也具有马尔可夫性,与上面不同的是MDP考虑了动作,即系统下个状态不仅和当前的状态有关,也和当前采取的动作有关.还是举下棋的例子,当我们在某个局面

马尔可夫决策过程

概述 现在我们开始讨论增强学习(RL,reinforcement learning)和自适应控制( adaptive control).在监督式学习中,我们的算法总是尝试着在训练集合中使预测输出尽可能的模仿(mimic)实际标签y(或者潜在标签).在这样的设置下,标签明确的给出了每个输入x的正确答案.然而,对于许多序列决策和控制问题(sequential decision making and control problems),很难提供这样的明确的监督式学习.比如我们现在正在做一个四条腿的机器

强化学习二

一.前言 在第一章强化学习简介中,我们提到强化学习过程可以看做一系列的state.reward.action的组合.本章我们将要介绍马尔科夫决策过程(Markov Decision Processes)用于后续的强化学习研究中. 二.马尔科夫过程(Markov Processes) 2.1 马尔科夫性 首先,我们需要了解什么是马尔科夫性: 当我们处于状态StSt时,下一时刻的状态St+1St+1可以由当前状态决定,而不需要考虑历史状态. 未来独立于过去,仅仅于现在有关 将从状态s 转移到状态 s

Hulu机器学习问题与解答系列 | 第八弹:强化学习 (二)

答应你们的解答部分来啦! "视频游戏里的强化学习" 场景描述 游戏是强化学习最有代表性也是最合适的应用领域之一,其几乎涵盖了强化学习所有的要素,例如环境:游戏本身的状态,动作:用户操作,机器人:程序,回馈:得分.输赢等.通过输入原始像素来玩视频游戏,是人工智能成熟的标志之一.雅达利(Atari)是20世纪七八十年代红极一时的电脑游戏,类似于国内的红白机游戏,但是画面元素要更简单一些.它的模拟器相对成熟简单,使用雅达利游戏来测试强化学习,是非常合适的.应用场景可以描述为:在离散的时间轴上

<强化学习>马尔可夫决策过程MDP

1.MDP  / NFA    :马尔可夫模型和不确定型有限状态机的不同 状态自动机:https://www.cnblogs.com/AndyEvans/p/10240790.html MDP和NFA唯一相似的地方就是它们都有状态转移,抛掉这一点两者就八竿子打不着了. 2.MP  -> MRP -> MDP 3.计算给定策略下的价值函数 / 贝尔曼期望方程 我们用贝尔曼期望方程求解在某个给定策略π和环境ENV下的价值函数: 具体解法是:(下面是对于V(s)的解法) 从而对于每一个特定的π,都能