信息发布

NEWS AND EVENTS

平台动态/最新公告 学术动态 业界动态/赛事

强化学习中环境模型利用新机制【AAAI 2021】

  近日,中科院自动化所智能系统中心团队在机器学习领域顶级会议AAAI发表论文Learning to reweight imaginary transitions for model-based reinforcement learning。团队针对强化学习中环境建模偏差带来的瓶颈问题,提出了一种可学习的模型利用机制:通过训练一个权重网络来调整环境模型生成样本的权重,使得重加权后的生成样本对策略优化过程的负面影响最小化。在MUJOCO环境多个强化学习任务上,该方法达到的效果超过当前最优的基于模型(model-based)和无模型(model-free)的强化学习方法。  强化学习主要用于解决智能体(agent)如何与环境进行交互从而最大化回报的问题。强化学习方法可分为两类:无模型方法和基于模型的方法。前者直接使用智能体与环境交互产生的轨迹来更新策略,其在许多复杂控制任务上均取得了优秀的效果[1-2],但该类方法的训练往往需要大量的交互数据,这一缺陷限制了该类方法的应用场景。针对这一缺陷,后者先使用交互产生的轨迹来训练一个动力学模型(dynamics model),然后用该模型模拟环境随智能体行动而产生的状态变化和反馈的奖励。这样的模型可以用于智能体决策时的实时规划,也可以用于生成大量虚拟轨迹来进行策略更新。基于此,学习到最优策略所需的真实交互数据就会减少。  然而,基于模型的强化学习方法所能达到的性能上限却受限于学习到的动力学模型的预测精度。模型误差往往会导致强化学习算法陷入局部最优,甚至可能导致训练过程崩溃。之前的研究工作[3-5]考虑调整动力学模型的利用方式,以此来减小模型误差对策略优化过程的影响,例如:只使用预测不确定度低的虚拟样本来更新策略[4]等。但这些调整方案都是预先设定的固定方案,无法在策略优化过程中自适应地调整,这导致算法需要较多的人工参与,并且存在生成数据浪费的情况,例如:当策略价值评估偏差较大时,带有少量预测偏差的虚拟样本也能用于训练。  该研究工作希望在抑制模型误差对策略优化过程产生负面影响的同时最大化地利用这些生成数据,从而提出根据每个生成样本对策略优化过程的影响来调整它们各自的权重。受“交叉验证”思想的启发,作者尝试构建以下流程来调整权重:针对每个生成样本,首先,使用它来更新价值和策略网络;然后,在真实数据上计算神经网络更新前后损失值的变化;最后,根据损失值的变化调整该样本的权重,例如:损失值减小,则说明该样本对神经网络的训练起正面作用,应该增加该样本的权重,反之则减少。显然,上述流程的计算代价极大。为了高效地实现这一权重调节机制,作者引入一个权重预测网络(网络结构如图1(右)所示),并按照上述流程对该网络进行训练:使用权重预测网络对一批生成样本进行权重预测,使用加权后的样本更新价值和策略网络,以更新前后损失值的变化作为优化目标,按照链式法则计算梯度并更新权重预测网络(算法的整体框架如图1(左)所示)。  在MUJOCO环境多个强化学习任务上,文中的方法取得的效果超过当前最优的基于模型和无模型的强化学习方法(如图2所示)。此外,使用学习到的权重函数进行重加权后,价值网络的预测误差明显下降,说明该模型利用机制的确能减小模型误差对训练过程的负面影响。图1:整体框架。权重预测网络的训练过程(左):计算价值网络在使用加权样本训练前后的验证集上的损失值之差,并利用链式法则来更新权重预测网络。权重预测网络的网络结构(右)针对生成序列中的每一个(当前状态,动作,下一状态,奖励)序对,序列化地预测权重,输入信息包括:前驱序对的信息,当前状态,动作以及下一状态和奖励的不确定度估计。图2:在MUJOCO环境中多个强化学习任务上,文中方法(ReW-PE-SAC) 可以达到了良好的性能 图3:使用文中方法(红色)进行重加权后,价值网络的预测误差明显下降   参考文献     [1] Mnih V, Kavukcuoglu K, Silver D, et al. Human-level control through deep reinforcement learning. Nature, 2015: 529-533.     [2] Haarnoja T, Zhou A, Abbeel P, et al. Soft actor-critic: Off-policy maximum entropy deep reinforcement learning with a stochastic actor. International Conference on Machine Learning, 2018: 1861-1870.     [3] Heess N, Wayne G, Silver D, et al. Learning continuous control policies by stochastic value gradients. Advances in Neural Information Processing Systems, 2015: 2944-2952.     [4] Kalweit G, Boedecker J. Uncertainty-driven imagination for continuous deep reinforcement learning. Conference on Robot Learning, 2017: 195-206.     [5] Janner M, Fu J, Zhang M, et al. When to trust your model: Model-based policy optimization. Advances in Neural Information Processing Systems, 2019: 12519-12530.

面向德州扑克:中科院自动化所智能系统中心团队建立大规模不完美信息博弈研究基准【arXiv 2020】

  近日,中科院自动化所智能系统与工程研究中心团队发表论文OpenHoldem: An open toolkit for large-scale imperfect-Information game research。针对大规模不完美信息博弈研究领域缺少开放性评测环境及基准的问题,论文从三个方面给出了系统性的解决方案。首先,论文提出了一套标准化的评估方法可以多角度评测AI的性能;其次,论文提供了一系列高水平德州扑克基准AI供研究者在线测试及改进;最后,论文公开了一个用户友好的在线比赛平台以方便研究者进行AI大规模测试。OpenHoldem致力于推动大规模不完美信息博弈领域理论与技术的突破,同时促进该领域重要科学问题的研究,比如不确定性对手建模、大规模博弈均衡求解以及人机交互学习等。  相关论文地址:http://arxiv.org/abs/2012.06168   作为大规模不完美信息博弈研究的一个重要实验环境,德州扑克一直受到学术界的广泛关注。近年来,国外德州扑克AI的研发取得了一系列突破,产生了一系列可以战胜人类专业选手的德州扑克AI。然而,由于相关研究细节未完全公开、AI测试基准也不统一,德州扑克AI的研发对于感兴趣的研究者来说仍然充满挑战,这样的现状严重阻碍了该领域的进一步发展。基于此,自动化所智能系统与工程研究中心团队在论文中提出了OpenHoldem:一个以德州扑克为具体研究对象的大规模不完美信息博弈开放研究平台。  在评估方法方面,论文提出了多种强随机博弈AI性能评测算法,可以全方位多角度地对AI性能进行准确客观的评估。最直接的AI性能评测方式是基于AI之间的对抗结果进行评估,但由于德州扑克博弈随机性大,结果只有在大量的对抗下才具有统计意义。为此,论文采用重复扑克、方差缩减等评测算法来大幅降低评测所需的对抗局数;另外,只基于AI之间的对抗并不能衡量AI的最差性能,论文采用了局部最优响应算法来近似计算AI的利用度,以此来衡量AI面对最具针对性对手时的性能。  在基准AI方面,论文提供了知识驱动型、数据驱动型、离线学习型、在线适应型等多种不同种类的高水平两人/多人德州扑克AI。知识驱动型AI是根据德州扑克专业玩家的经验总结得到的,它可以处理德州扑克博弈中遇到的常见情况,研究者可以与知识驱动型AI进行对比来初步验证AI实现的正确性;论文同时提供了一个DeepStack AI(M. Moravčík, Science, 2017)的复现版本,复现过程中使用了12台8 GPU卡的高性能服务器并行生成了千万量级的训练数据,该AI可以战胜ACPC竞赛冠军Slumbot AI(见下图)。  在测试平台方面,论文提供了一个公开的测试平台(可通过http://holdem.ia.ac.cn/进行访问)来方便研究者进行AI测试。平台内置了所有的基准AI和评测算法;支持人人、机机、人机等多种对抗模式;支持多终端并发访问;支持AI分布式并行测试。同时,平台还提供了面向AI研发的工具包,包括AI编程接口、AI开发文档以及博弈复盘服务;平台可接收团队/个人的自研AI,并可将高水平AI纳入作为新的基准,平台的最终目标是构建德州扑克大规模不完美信息博弈领域的标准模型库。  通过论文开放的大规模不完美信息博弈研究平台OpenHoldem,自动化所智能系统与工程研究中心团队希望在国内营造和催生智能博弈相关基础研究的生态环境,带动和激发更大范围和规模的智能博弈基础研究力量进行核心技术攻坚。  走向通用人工智能前路漫漫,让我们共同努力,共同推动智能博弈技术的变革与突破!

会聊天的智能体能更好地与人类合作【Nature Communications 2018】

近日,一家国际团队开发了一种人工智能算法,它在社交技能方面超过了人类,能与人或机器合作,玩各种各样的双人游戏。该算法被称为S#(“sharp”),麻省理工学院媒体艺术与科学副教授Iyad Rahwan博士领导的研究人员对其进行了测试。在机器与机器、人类与机器和人类与人类三种类型的交互中,大多数情况下,使用S#编程的机器在寻找对双方都有利的折衷方案时,要优于人类。研究报告的主要作者、计算机科学教授Jacob Crandall说:“如果两个人坦诚相待,彼此忠诚,那么他们就能和机器做得一样好了。”然而,事实上,接近一半的测试者都撒了谎。因此,从本质上讲,该算法的道德感更强(因为它被编程为不说谎),而且它一旦参与合作,也更容易保持下去。Crandall说:“我们的最终目标是,理解人与人合作背后的数学原理,以及找到人工智能发展社交技能需要具备的属性。”“人工智能要对我们做出回应,并清楚地表达自己在做什么。”它必须能够与他人进行互动。如何通过与AI聊天帮助人类增强合作一个重要发现是:使用口语化的短语(在研究中称为“廉价谈话”)可以增强合作。在测试中,如果人类参与者与机器合作,机器可能会给出“甜蜜”的回应,比如,“我们发财了!”或“我很开心接受你最后的提议”。如果参与者想要背叛机器,或退出之前达成的协议,机器可能就会说“诅咒你!”“你会为此付出代价的!”甚至“真不要脸!”之类的话。而当机器使用廉价谈话时,人类往往无法分辨对方是人还是机器,这有点像小型的“图灵测试”。Crandall希望,研究结果可以对人际关系产生长远影响。他说:“社会中的人际关系一直很紧张。多年好友也可能一夜之间反目成仇。这台机器比人更容易找到双方都能接受的折衷方案,所以它可能教会我们如何更好地处理人际关系。”该研究的详细内容已发布于《自然通讯》。论文《与机器合作》(Cooperating with machines)摘要自从艾伦·图灵提出人工智能以来,人工智能技术是否取得进步的衡量标准,通常是以机器能否在博弈类游戏(例如,国际象棋,德州扑克或围棋)中击败人类来衡量的。大家对人机合作能给人类带来多少益处的关注比较少。合作不需要纯粹的计算能力,而是通过直觉、文化规范、情感、信号和预先进化的倾向来促成的。我们开发了一种算法,结合了最先进的强化学习算法与信号机制。结果表明,该算法能在不同的两人重复随机博弈中,与人类和其他相当于人类合作水平的算法相配合。这些结果表明,使用一组能取得非凡效果但方式简单的算法机制,可以实现一般的人机合作。
推荐阅读
问题反馈
请将您的宝贵意见反馈给我们