深度强化学习系列: “奖励函数”的设计和设置(reward shaping) | 您所在的位置:网站首页 › 奖励惩罚表怎么做 › 深度强化学习系列: “奖励函数”的设计和设置(reward shaping) |
概述
前面已经讲了好几篇关于强化学习的概述、算法(DPG->DDPG),也包括对环境OpenAI gym的安装,baseline算法的运行和填坑,虽然讲了这么多,算法也能够正常运行还取得不错的效果,但是一直以来忽略了一个非常重要的话题,那就是强化学习的**《奖励函数》**的设置。 1、 Gym-Pendulum-v0例子分析奖励函数为什么要讲强化学习的概述呢?也许在我们以前运行的算法中我们并没有直接接触到奖励函数的设置,而是直接调用了接口函数,下面以ddpg算法(点击查看DDPG算法)运行’Pendulum-v0’环境(下图,让摆杆立起来)为例子: 这是episode运行过程,其中根据环境观察值得到action(ddpg.choose_action(s))后, 直接将动作传给了env.step()函数了,于是我们就非常直接的得到了对应的奖励(Reward)、下一个状态( S ‘ S^{‘} S‘),随后直接开始考虑改善核心算法。 但是,我们忽略去研究强化学习中非常重要的奖励函数的设置,因为它会决定强化学习算法的收敛速度和程度。 那么到底env.step()背后是怎样的呢? def step(self, action, **kwargs): self._observation, reward, done, info = self.env.step(action) self._observation = np.clip(self._observation, self.env.observation_space.low, self.env.observation_space.high) return self.observation, reward, done, info其中第三行np.clip()函数就是,大于max取max,小于min取min(查看clip()函数 ),然后继续追踪第二行self.env.step(action),得到下面代码 def step(self,u): th, thdot = self.state # th := theta g = 10. m = 1. l = 1. dt = self.dt u = np.clip(u, -self.max_torque, self.max_torque)[0] self.last_u = u # for rendering costs = angle_normalize(th)**2 + .1*thdot**2 + .001*(u**2) newthdot = thdot + (-3*g/(2*l) * np.sin(th + np.pi) + 3./(m*l**2)*u) * dt newth = th + newthdot*dt newthdot = np.clip(newthdot, -self.max_speed, self.max_speed) #pylint: disable=E1111 self.state = np.array([newth, newthdot]) return self._get_obs(), -costs, False, {}这其实就是Pendulum-v0的奖励函数的设置本质,但是全是代码,并且是 cos ( ⋯ ) , sin ( ⋯ ) \cos(\cdots),\sin(\cdots) cos(⋯),sin(⋯),等函数,完全不知到从哪里来,当然还是能想到角度的,但是具体还要从其原理来讲: Pendulum的角度和角速度,记为th和thdot,至于具体哪个角度我们将在后面进行分析。 此外,同样可以看出observation包括了cos(th)、sin(th)、thdot三个量。而在上文中我们知道action的定义,对于Pendulum问题来说,action space只有一个维度,就是电机的控制力矩,且有最大值和最小值的限制。其中cost是代价,且最终返回的奖励是-cost() return self._get_obs(), -costs, False, {}那么我们既可以对cost进行分析了: costs = angle_normalize(th)**2 + .1*thdot**2 + .001*(u**2)costs包含三项, 1、angle_normalize(th)2 2、1*thdot2, 3、001*(u**2) 第一项 这是对于当前倒立摆与目标位置的角度差的惩罚,那到底th表示哪个角度呢?对于angle_normalize()函数分析如下: def angle_normalize(x): return (((x+np.pi) % (2*np.pi)) - np.pi)我们先对
(
x
+
π
)
(x+\pi)%(2*\pi)-\pi
(x+π)进行分析,带入几个角度, 比如
x
=
π
/
4
,
r
e
t
u
r
n
=
π
/
4
x=\pi/4,return=\pi/4
x=π/4,return=π/4;
x
=
3
∗
π
/
4
,
r
e
t
u
r
n
=
3
∗
π
/
4
x=3*\pi/4,return=3*\pi/4
x=3∗π/4,return=3∗π/4;$x=5*\pi/4,return=-3*\pi/4 $。这样我们就可以绘图如下 到这里,终于把一个例子的奖励函数分析了,也知道它的奖励和角度,力矩等有关。然而学习过程中我们却很少去关注,比如gym各种环境、Atari环境以及Deepmind的dm_control空间,所有的就是已经封装好的,但是我们自己怎样去设置一个奖励函数呢?reward很重要,因为强化学习就是基于 Reward Hypothesis(关于这个假设详见老爷子sutton【唠叨一句,老爷子可是强化学习的大师级人物,著有强化学习圣经《reinforcement learning: an introduction》,现在在Google工作】的页面:RewardHypothesis.)。这是假设所有的目标都可以被描述成最大化预期的累计的reward信号。 可能平时我们感觉不到奖励的区别,引用一故事: 举个我比较熟悉的例子吧,比如想让一个虚拟的人在虚拟环境下往前走。一种做法就是像openai或者deepmind那样,reward就是向前的速度,然后得到的结果就是一个很逗的行走姿态:https://deepmind.com/blog/producing-flexible-behaviours-simulated-environments/。 具体看链接里面那个小人手在疯狂摆动的往前行走。 进阶版是加上一个对于能量的penalty。也就是reward会扣除你所消耗的能量。如果运气好的话,那些多余的手部动作应该就不存在了,但是直接加这个penalty似乎效果不大。另一种就是,既然觉得那种动作太逗比了,我们就给他一个我们想让他做的动作。于是reward变成了和人行走姿态比有多大不同,于是得到了比较正常的结果:https://xbpeng.github.io/projects/DeepLoco/index.html结论:reward的影响很大。 2、 奖励函数设置目前强化学习的奖励设置系统性介绍的文章特别少,查了很多资料,没有很多实质内容 Daniel Dewey在他的文章《Reinforcement Learning and the Reward Engineering Principle》提到了奖励函数(工程)的原则,原话是: The Reward Engineering Principle: As reinforcement-learningbased AI systems become more general and autonomous, the design of reward mechanisms that elicit desired behaviours becomes both more important and more difficult. 翻译过来就是强化学习系统变得越来越普通的时候,引发期望行为的奖励机制的设计变得更加重要和困难!另外在奖励shaping中我们发现,奖励形成对强化学习速度的影响分析。 我们得出结论:奖励范围是一个重要的参数,它涉及整形的有效性,并证明它对于一个简单的强化学习算法在运行时间上具有最强的影响力。 此外,当学习利用奖励视界时,可以在不依赖于状态空间大小的情况下及时学习近似最优策略,而是根据视野内的状态数量。 (1)稀疏奖励(sparse reward)稀疏奖励是最常见的一种奖励,在游戏中有很多的应用,即**“完成比赛得分,输掉比赛不得分”**这种形式。这个问题已经一直困扰了 RL 很多年了. 打个比方, 下围棋, 下的过程中是没有任何 reward 的, 只有下到最后才会出现一个 reward 信号说谁赢了. 这是很不好学的. 这一个 reward 信号很容易就消失在了茫茫的数据中(没有 reward 的数据). 而如果时时刻刻都有一个 reward 信号, 而且这个 reward 信号有小有大, sparse 的问题就很容易解决了. 所以做出一个好的 reward function 在现阶段很重要. 但是这种一般比较少,大多数在游戏中,至少我想到的周围的应用比较少,另外一个问题就是比较难,所以连续性的奖励就比较好,比如Atari游戏中的打砖块,打一个得一分,一个回合就是一次游戏得多少分,这样对于系统的学习也就响度简单点,后期遇到合适资料再进行补充。 (2)形式化奖励
不幸的是,形式化的奖励也可能会影响学习效果。如前所述,它可能会导致机器人动作与预期不符。一个典型的例子是OpenAI的博文Faulty Reward Functions in the Wild, (3)分布奖励分布奖励思想来源于概率论中的分布,通常的做法是将奖励根据高斯分布等做,也有在rnn算法中通过记忆等做的,由于资料不多,故不详述. (4)奖励系数变化奖励这部分说起来比较简单,就是奖励是随其他变量而变化的,并不像前面的.比如:打保龄球,距离线的距离就可以算作每次发力的奖励。 KaTeX parse error: No such environment: equation at position 17: … R_{t} = \begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲ \left\{ … (5)中间难度起点奖励(SoID)强化学习过程中经常会出现一个问题,刚开始学习全部是负面奖励,则学习起来很慢,但要是全部是积极奖励,系统又学不到不好的一面,于是科学家就提出了一种中间难度起点奖励,就是从中间开始的意思. 于是过程变成了记录目前实验对象的性能,为RL提供信号,特别关注策略梯度,通过采取预期总奖励的预计梯度来改变策略.数学描述为: ∇ θ J = 1 N ∑ i = 1 ∇ θ log π θ ( τ i ) [ R ( τ i , s 0 i ) − R ( π i , s 0 i ) ] \nabla_{\theta} J = \frac{1}{N}\sum \limits_{i=1} \nabla_{\theta}\log \pi_{\theta}(\tau^{i})[R(\tau^{i},s_{0}^{i})-R(\pi_{i},s_{0}^{i})] ∇θJ=N1i=1∑∇θlogπθ(τi)[R(τi,s0i)−R(πi,s0i)] 即目标在导向任务中, R ( τ i , s 0 i ) R(\tau^{i},s_{0}^{i}) R(τi,s0i) 是二元的,表示对象是否达到目标,所以常规的 R ( π i , s 0 i ) R(\pi_{i},s_{0}^{i}) R(πi,s0i) 用于计算从KaTeX parse error: Expected '}', got 'EOF' at end of input: s_{0]^{i} 开始的当前策略 π 0 \pi_{0} π0 能否到达目标,为了避免开始训练从未达到或者已经掌握,英语了SoID概念,中间难度起点状态需要满足方程: S 0 : R m i n < R ( π i , s 0 i ) < R m a x S_{0}: R_{min} |
CopyRight 2018-2019 实验室设备网 版权所有 |