AI+游戏：高效利用样本的强化学习 | 腾讯AI Lab学术论坛演讲

彭健博士的研究方向是计算生物学和机器学习的相关领域（如基因组、系统生物学和分子生物学方面的大数据分析处理）。在计算生物学方面，他一直致力于开发高效的算法，对庞大的基因数据集以及系统生物学和分子生物学中的数据集进行分析处理整合。在机器学习方面，他的主要研究兴趣为采样、变分推理方法以及高维图模型的结构化学习算法。他曾获得CROI青年学者奖、斯隆研究奖、美国国家自然科学基金会职业生涯奖、PhRMA基金奖等多个国际著名奖项。他是ISMB、 RECOMB、 AISTATS、ACM-BCB、 AAAI 和 GLBIO等机器学习和生物信息学会议的程序委员会会员，以及PNAS、PLOS Computational Biology、 IEEE/ACM TCB等国际顶级期刊的审稿人。彭健博士为美国芝加哥大学丰田技术学院计算机科学博士，曾于美国麻省理工学院Berger Lab进行博士后研究。

本演讲将讨论一些令现有算法难以应用的挑战（尤其是奖励传播延迟、方差估计高和探索不充分），同时介绍一些解决方案，展示它们在 Atari 游戏和机车机器人任务上的应用。

以下为演讲全文（为便于阅读进行过适当编辑整理）：

目前的游戏 AI（特别是一些基于深度学习的 AI）的表现相比传统的基于规则的算法实现了很大的提升。而且在各种各样的游戏上都有这种现象，比如控制类游戏、物理模拟类游戏（比如《愤怒的小鸟》）、基于第一视角的探索×××（比如《Minecraft》）、以及更难的有大面积搜索空间的游戏（比如《王者荣耀》、《DotA》、《星际争霸》）。另外，AlphaGo 是目前最有影响力的工作。其实所有这些游戏 AI 背后的算法都有深度强化学习。

第二种方法叫做 Q 学习，这是一种通过学习价值函数或价值网络的方法。这个价值函数能给出对未来奖励的预测。在 AlphaGo 中，这两种算法是交叉在一起的。策略网络学习下一步要走哪个子，价值函数对当前落子进行价值估计。

这样高的采样复杂度，就导致我们没法在各种复杂游戏中使用深度强化学习。有两个可能的原因。第一个原因是游戏中的奖励信号通常是稀疏的或会延迟到来，也就是说我们在相当长的时间内都不会得到游戏的反馈。另一个原因可能是没有足够的探索，也就是说我们当前学习的策略可能会被困在局部最优。

下面我讲一下针对这两个问题我提出来的可能解决方案。

第一，考虑到奖励的稀疏性和延迟性问题，我们就想有没有办法可以使奖励传递得更快？

如果我们想实现更快的奖励传播，我们就需要向前多看若干步。这是一个很自然的想法。如果我们知道整个时间线，在当前状态，我可能对未来有一个规划和估计；如果我知道我的未来，我就可以知道当前可能会有更好的选择，我就可以得到一个对未来比较乐观的估计。我知道如果我选择一个其它动作，我能在当前时间线上得到更好的价值。这是一种展望未来式（looking forward）的算法。利用贝尔曼方程（Bellman Equation），我们可以得到当前估计的下限。

第二个问题是没有足够的探索，也就是说游戏智能体可能会困在局部最优。

我刚才介绍了针对探索和奖励延迟问题的一些解决方法。而深度强化学习还有很多其它问题。如果我们想利用深度强化学习设计比较复杂的游戏 AI，可能就会遇到很多难题。比如，第一个问题可能是策略梯度估计时方差比较大——我们做了一些优化这个方差的工作。第二个问题是动作空间比较大，我们需要一些抽象（abstraction）方法来缩小动作空间。第三个问题是现在的算法的数据有效性还是不够，我们需要一些更好的优化算法。

谢谢！