马化腾称「王者荣耀将举办 AI 电竞赛，希望激发青年人对通用 AI 的研究兴趣」，有哪些看点值得关注？ 第1页

深夜玩个小鲁班，被上单暴打，被打野暴打，被中单暴打，甚至连辅助也要欺负一把，这到底是道德的沦丧还是人性的泯灭？

上了王者后排位怎么打怎么输，那我服了，后来换了个小号，玩了一段时间的青铜局，本想着去虐菜，没想到还是经常被教做人。有时候我就纳闷，是不是我被「觉悟」当成训练集了？

强化学习暴打我

我了解觉悟是从去年开始，那时候在国外，顶着170的ping打上了王者，有次更新完就发现多了一个「觉悟」挑战，为了尝鲜就去试了试。

结果由于ping太高，老是坑，遂放弃掉。

不过自己也是AI行业从业者，下意识里就觉得「觉悟」这玩意肯定是强化学习做出来的AI。

为什么我这么想呢，因为王者荣耀的机制与强化学习是完美匹配的。

简单的匹配来讲：

奖赏 = 推掉地方水晶

环境 = 王者荣耀的游戏环境

智能体 = 玩家

动作 = 玩家的操作-战斗/走位等等

状态 = 玩家状态，地方状态，野怪等等

但是「觉悟AI」的复杂度往往超过了普通的强化学习，训练一只小狗上厕所也算是一种强化学习，但是涉及到的场景非常简单。

觉悟AI

此次亮相的“王者绝悟”是掌握游戏中全部100多个英雄玩法的“完全体”版本。要精通王者荣耀这款MOBA（多人在线战术竞技）游戏，“王者绝悟”背后是天文数字级的计算量。

这次的完全体不同于最初级别的幼年「觉悟」，只是通过监督学习模型，简单来说，就是模仿顶尖选手的操作，这种是传统机器学习的方式，通过大量的数据进行学习，逻辑很简单，但是弊端也有，就是上限往往不会超过被学习者本身。

我们从觉悟能力的演习路线就可以看出，从19年开始，觉悟的训练就开始使用强化学习了。

当然「觉悟」并不是强化学习单方面就能办到的。

不需要陪练了，自己创造角色，自己打自己。只需要告诉AI，杀掉地方就会有奖励，超神更是奖励丰厚，反之，被杀就没有奖励，最终的目标就是获胜。

AI超人的计算能力往往能探索出新的策略，甚至于超过当前人类的认知。

在不断的“自己和自己玩游戏之后”，现在的完全体「觉悟」已经熟练掌握了所有的英雄。这是什么概念，一个队伍五个英雄，组合就有 种可能性，再加上「觉悟AI」要操作不同技能、装备的不同英雄，在对局中面临策略规划、目标选择、技能应用、路径探索及团队协作等大量即时的选择，其操作可能性预计高达 可能性。

这是什么概念，比宇宙中的所有原子个数要多的多的多！

AI电竞赛与开悟平台

「觉悟」AI并不是单纯为了游戏，游戏只是最终目标AGI-通用人工智能的关键一步而已。

所谓的通用人工智能，即不同于当前只能处理某一个细小领域的初级人工智能，它是AI的最终版本，远远超越人类的智能。

多智能体决策博弈+强化学习是实现AGI的基本构想，它的理想实现平台就是游戏，因为游戏的场景足够复杂，非常适合多智能体技术落地实现。

对于不少研究人员和开发者来说，多智能体技术研究依然存在显著的现实困难，包括环境的不确定性、信息获取的局限性、个体目标与全局目标的一致性，以及对高算力的要求。

多智能体技术研究者主要面临以下几个现实困难：

• 包括环境的不确定性
• 信息获取的局限性
• 个体目标与全局目标的一致性
• 高算力的要求

针对这一痛点，腾讯集算法、计算平台、评估工具，以及腾讯云的算力支持，搭建了「开悟」平台可以解决这些问题。

实际上，AI电竞赛其实不是传统的王者荣耀比赛，甚至跟选手没什么关系，本质上是AI模型的之间的比拼。参赛选手自己玩可能仅仅是个青铜，但是它训练的模型可以血虐王者。而这也是AI电竞赛的一大特色。

总结

从「绝悟」到「开悟」，是从一个种子到了一个应用领域。试想一下，未来有一天，你在飞机上玩农药的离线模式，虽然是九个机器人，实际上与不受情绪、性格影响，配合障碍更低的五个真人操作并无太大的区别，甚至还水平还高于玩家，弄不好还会秒变机器人的弟弟。

但从长远的角度来看，王者绝悟还是有望在医疗、制造、无人驾驶、农业以及智慧城市管理等领域带来深远的影响，期待智慧城市加持「开悟」平台的未来样子。

好家伙，我刚带我弟打了个青铜局，本来打算秀一下我的国服狄仁杰，没想到连带着我和我们队五个人，被对面的一个铠皇，打得找不着北。

我们五个人一起开团刚对面的铠，交手六次，次次全军覆没，后来我们实在气不过，决定战略性放弃水晶，最后才勉勉强强打死他几次。

我有理由怀疑，这绝壁是这个叫“王者绝悟”的AI打的。不然，我们怎么可能在青铜局输得那么惨！

为了验证猜想，我还托朋友问到了点资料，一起和大家分享一下~

先说一下，“王者绝悟”是什么？

“王者绝悟”在7月8日于2021世界人工智能大会上亮相，它是一款由腾讯AI Lab与王者荣耀联合推出的一款产品。

在会上，“王者绝悟”与职业电竞选手——重庆QGhappy.Hurt、成都AG超玩会.无痕、武汉eStarPro. 诺言、深圳DYG.小义，以及辰鬼等5名职业选手组成的战队，来了场BO5表演赛，最后，AI竟然还取得了不错的成绩。

虽然是游戏AI，但是在游戏里，王者绝悟相继打出了蹲草、前后拉扯输出、辅助开团等极限操作，团队配合上也颇为专业。

在一场对决中，DYG.小义拿出了干将莫邪作为打野英雄参战，但是，即使是这种非常规的打法，绝悟也做出相应对策了。

AI的进步，真的不可同日而语。

值得一提的是，这次的王者绝悟，没有全地图视野，也没有任何数值加成，是单纯依靠AI计算出来的操作来打的比赛。

所以，这次的比赛，不仅仅是AI秀操作，其背后更是AI技术的极大进步。

（又到了放这个经典表情包^[1]的时候了。。。）

说起难度来，在王者荣耀的对局中，因为地图以及局势的多变，AI的动作状态空间，其实是远远大于围棋这类相对固定位置的游戏的，这个动作状态数甚至超过整个宇宙的原子总数（10的80次方）。

参考资料：游戏难度的计算方法^[2]

想要做到精准决策与运算，对算法的挑战还是蛮大的。

更何况，王者荣耀不仅仅是场内的对战，还有游戏队伍搭配、装备选择等环节，每一个环节的加入，都意味着增加好几个数量级的计算。

简单举个例子，王者荣耀100多个英雄，按组成5人队伍计算，就有多达10的15次方种可能性；另外，再加上不同的召唤师技能、不同英雄的出装，目标选择、技能应用、路径探索及团队协作等大量即时的选择，其操作的可能性，预计高达10的20000次方^[3]。

根据我简单估算，王者绝悟的背后，是很多工程师的“绝顶”。（缺德ing）

当然，AI背后的逻辑其实并不难，就是大量的“深入学习”。在“王者绝悟”18年初次上线时，就是通过模仿学习职业选手的操作，来达到“业余顶尖”的水平。

在进入到2019年，随着在深度强化学习等课题上研究不断深入，“王者绝悟”就已经不再需要模仿人类数据了，他们只需要通过自己和自己对战，就能不断训练自己的操作水平。

这次，“王者绝悟”能够与人类职业选手对抗，靠的就是数以千万计的学习与训练。在刻苦用功这一方面，AI才是“努力的天才”。

为什么要研究游戏？

很多人可能不理解，觉得打游戏打得好根本不值得炫耀，这种研究，对于实际生活根本毫无卵用。

事实上，AI的目的，并不是要在游戏里战胜人类，而是通过越来越复杂的游戏训练，最终解决现实生活中的问题。

之所以选取王者荣耀作为研究场景，是因为王者荣耀同时满足了高复杂度、高挑战性、强协作性等特征，是一个适合AI训练的绝佳场景。

换言之，王者只是训练AI的方式，而非最终目的。

除了王者，AI Lab还同步推进了很多其他类“AI+游戏”研究。比如棋牌类AI“绝艺”，四夺围棋AI世界冠军、担任中国国家围棋队专用AI，并进一步探索棋力极限，让职业棋手2子取得200连胜。

除开围棋，绝艺还从围棋的完全信息博弈，进展到了不完全信息博弈的棋牌类游戏当中，在2020年，绝艺还获得了 IJCAI麻将AI比赛冠军。

在绝艺于棋牌类游戏大放异彩的同时，绝悟专注在策略型游戏商，从王者峡谷走向更多类型游戏。

在足球游戏中，绝悟 Wekick 版本获谷歌Kaggle 11v11足球AI竞赛世界冠军。

在RTS游戏中，在星际争霸2里打败“开挂”内置 AI 的智能体。

在FPS射击类游戏中，先是夺得了 VizDoom AI 竞赛历史上首个中国区冠军，后在 FPS AI 上线手游《穿越火线-枪战王者（CFM）》中广获好评。

绝悟和绝艺的成绩，意味着AI技术的极大进步，而这些进步，将会为人工智能研究做出更大的贡献。

对于未来的亿点点畅想

其实，对于不少研究人员和开发者来说，多智能体技术研究依然存在显著的现实困难，包括环境的不确定性、信息获取的局限性、个体目标与全局目标的一致性，以及对高算力的要求。

AI研究需要四大要素：算法、数据、算力和场景。以强化学习为例子，每个要素都有很多挑战，比如研究场景稀缺，没有数据，算法测试困难到算力昂贵等。

基于绝艺和绝悟的优异表现，2019年8月，王者荣耀、腾讯 AI Lab携手共建了“开悟”AI开放平台，可以低成本地为使用者提供一个多智能体人工智能算法研究、教学和验证的科研教学平台。

在众多研究者的共同努力下，如果技术持续发展，在未来，达到或超越人类水平的 AI ，或许不再是梦想。

参考

1. ^有哪些科研人士必备表情包？ https://www.zhihu.com/question/382109916/answer/1170088607
2. ^微软亚洲研究院：哪类游戏AI难度更高？用数学方法来分析一下  https://www.msra.cn/zh-cn/news/features/difficulty-of-ai-games
3. ^ 这里是瞎估算的，没有动笔去计算，回头看看论文再修正这个数量级