您的位置:首页 >文化 >

会玩王者荣耀的ai 真的有用么 「玩王者荣耀需要智商吗」

时间:2022-12-23 12:13:13 来源:差评

大家好,会玩王者荣耀的ai 真的有用么 「玩王者荣耀需要智商吗」很多人还不知道,现在让我们一起来看看吧!


估计经常玩王者荣耀的人,都应该对一个词不陌生—— “ 王者绝悟 ” 。


它是王者荣耀和腾讯 AI Lab 团队共同打造的一个策略协作型 AI 。


在 2019 年《 王者荣耀 》世界冠军杯的特设环节,它打败了职业选手赛区联队,一鸣惊人。


当天它还在 ChinaJoy 进行了 504 场 1V1 比赛,面对一众实力强劲的玩家,最终只输了一场,输给了当时的国服第一后羿,总体胜率高达 99.8% 。


后来王者绝悟进一步面向普通玩家限时开放,去年 11 月限时开放的 20 个挑战关卡更是让每个玩家都体会到了王者绝悟的厉害。


这么说吧,像王者绝悟这样的 AI ,它通过强化学习机制经历无数对战,一天的训练强度高达人类 440 年,对自己的能力特别有 B 数,啥大风大浪都见过。


能打过就会上,打不过绝不刚,抱团支援贼溜,越塔强杀也会。


对技能的方位和时间的把控异常精准,彼此间合作天衣无缝,坐拥顶级拉扯战术。


2019 年的绝悟就已经会轮流抗塔分摊伤害了 ▼


普通人正常打肯定打不过,只好到快手等平台去搜些特殊战术,才能勉强拿个 “ 智极·绝悟 ” 的标签。


大家纷纷感叹 AI 现在居然已经这么强大了。


可能很多人都有相同的感知,现在游戏 AI 的发展或多或少都受了当年 AlphaGo 的影响。


2016 年 AlphaGo Lee 与李世乭的大战堪称人机大战的转折点,在这之前人们不相信机器能够胜任围棋这种高智商的游戏,但事实证明了AI 的潜力。


后来 AlphaGo Master 在棋坛横扫一众棋手,把 Lee 那一版的缺陷补足,便再无对手,柯洁与之对弈也只能投子认输。


到了AlphaGo Zero 这一代, AI 已经摒弃了学习人类棋谱这一步,通过大量自我对战,只需要短短的时间,从能瞎走的小白,就能蜕变成段位极高的大师,甚至发展出人类不曾想到的招数。


只用了3 天, AlphaGo Zero 就把赢过李世乭的 AlphaGo Lee 踩到了脚下, 21 天就打败 AlphaGo Master 。


也就是说,AlphaGo Zero 证明了,只要人们给输入规则和目标,程序就可以经过自我博弈不断进步,也能成为身经百战的顶流大师。


这种 “ 无师自通,自学成才 ” 的本事,立刻在学术界和民间掀起滔天巨浪。


这套自我博弈的方法就是机器学习理论中的 —— “ 强化学习 ”。


强化学习能解决哪些问题?这套方法解决问题的极限在哪里?


研究人员把目光从围棋这种棋牌游戏,打量到星际争霸、Dota2 这些复杂策略的游戏身上。


这类游戏的复杂度可比围棋高多了,因为它们可能包含丰富的画面信息,还涉及多人对战,战争迷雾、即时战略、第一人称射击等元素。


所以在开发这类AI 时,会遇到多智能体协同策略,不完全信息等等技术难题,更有挑战性。


AlphaStar 就是 DeepMind 团队

打造的星际争霸 AI ▼


这几年,针对星际争霸、Dota 2等不同游戏的 AI 不断出现,当然,王者绝悟也是其中之一。


说起来大家可能会觉得惊讶,但王者荣耀这样的游戏中,玩家的动作状态空间能高达 10 的 20000 次方,远远超过宇宙原子总数的 10 的 80 次方。


在如此浩瀚的运算空间里,要做出王者绝悟那样高效准确的决策,可想而知这挑战有多大。




基于王者绝悟的研究方法和经验,王者荣耀和腾讯 AI Lab 还搞了一个 AI 开放研究平台 —— 开悟。


最近,腾讯举办了一个名为 “ 开悟多智能体强化学习大赛 ” 的活动,并邀请国内包括北大、清华、中科大等二十余所国内外顶尖院校的学霸们参加比赛。


简单来说,这个比赛就是要求高校师生训练出一个属于自己的 mini 版 “ 绝悟 ” ,然后导入王者荣耀一决高下。


在比赛中,各大高校的教授和学霸们会利用开悟平台研究如何用算法解决单、多智能体解决方案,模型结构设计,强化学习算法设计、奖励函数设计等问题。


比赛模式包括1v1墨家机关道、3v3长平攻防战,规则与我们玩家在王者荣耀日常接触到的一样,最先推倒对方水晶的一方获胜。


今年已经是第二届比赛了,去年第一届赛程还使用过5v5 梦境大乱斗,冠军被中科大收入囊中。


肯定有差友好奇,AI 到底怎么经过自我博弈,最终学会玩王者荣耀的?


那给大家看看鲁班七号AI 的进化之路,我们以训练 10 分钟,1小时,12小时为节点,分别看看 AI 的水平有怎样的变化。

(下方动图里,左上角能看小地图,会显示红蓝双方的位置)

这个是训练了 10 min 的 AI,可以说这时候的 AI 菜得抠脚,仿佛完全不知道要做啥。。。


10min AI ▼


对战开始,红蓝两方的小鲁班 AI 出了塔之后都非常迷茫,一脸的 “我是谁?我在哪?”,兜兜转转瞎溜达,技能也在瞎放。


迷糊了两分钟,蓝方的小鲁班才跌跌撞撞走到了兵线附近。(左上角能看到红方还在迷茫中。。。)


这时蓝方鲁班发现,站在兵线前随意的平A 就可以获得金钱的奖励。


并且红方一直没出水晶,蓝方连 2、3 技能都没按出来,就已经锁定胜局。


有意思的是,这时候鲁班虽然不知道主动进攻,却知道抗塔会掉血,看来以前经历过不少教训。


据我猜测,通过这一局 AI 就会知道,走中间有兵线的地方平 A 就能得到经济。


那么 AI 经过 1h 的对战训练后,水平又如何了呢?


1h AI ▼


战局一开始,红蓝两方都开始跌跌撞撞往中间走,看来 AI 已经知道了中间兵线有经济。


红蓝相见分外眼红,直接硬刚,蓝方险胜。


看来此时 AI 还没学会血量少的时候要苟一下,只知道拿下对方人头就可以获得经济。


训练了 1 小时的 AI 终于知道放特殊技能了,可惜技能 2 和技能 3 基本就是瞎按,没有一星半点的准头。。。


不过相对于 10min 的版本,还是有不小的进步~


最终蓝方坚定的在小兵的掩护下推了塔,尽管红方也知道守塔,显然大势已去,无能为力了。


那训练了12 小时的 AI 会怎样呢?


对战开始,红蓝双方迅速在兵线附近狭路相逢,二话不说上来就对喷。


12h AI ▼


蓝方因为靠小兵太近,中间不小心火力被兵线吸引了一下,被红方取得优势。


这时大家会发现这时的 AI 已经学会在血量较少的时候后撤,可惜在边退边战的时候被喷死了。


继续观看比赛,发现 AI 还学会了在血量少的时候舔血包,甚至懂得回家加血!


蓝方鲁班舔血包 ▼


红方鲁班缺血后回家补血

满血后回来反杀 ▼


而且,鲁班的 2 技能的准确率也直线上升,3 技能也知道要在兵线和敌方身前释放。


所以,虽然看起来这个训练了 12 小时的 AI 动作还是蠢萌蠢萌的,跟人类比起来意识也不行,可是相比较于只学习了 10 分钟的 AI 强多了。


这就是强化学习 AI 的厉害之处,只要规划合理,继续训练就会变得越来越厉害,直到无法成长。


而学生需要做的就是:优化算法,提高 AI 的上限,缩短 AI 的成熟路径。


纸上读来终觉浅,其实这种算法、模型,只有自己亲身去实践,才能知道书本上的公式和理论是如何在真实世界中发挥作用。


为了让学生好好比赛,王者荣耀和腾讯 AI Lab 把一切都包圆了。


需要算力?直接开放云平台,只需要上传模型,睡一觉就练好;想复盘模型好坏?模型的对战形成的录像随便观看;比赛的底层信息太杂了?直接把游戏场景和英雄行为打包成数据接口,直接调用就成……


估计很多人好奇了,这种比赛有什么意义么?



想当初,AlphaGo 在围棋界大杀四方时,有人不屑的表示,只会下棋的AI 能有什么用?


但 4 年后,它的后辈 Alpha Fold 便在 CASP 蛋白质结构预测比赛上,解决困扰了人类 50 年来的蛋白折叠问题。


很多人评价说这是能与诺贝尔奖齐名的成就,因为它可以从根本上改变很多生物学的研究方式。


Alpha Fold 在预测蛋白质如何折叠上准确的离谱,准到大家不敢相信这是真的。


在下面的动图里,绿色是实验测量得出的蛋白质结构,蓝色是 Alpha Fold 的预测结果,两个蛋白质样本的实验结果和预测结果几乎重合。


人们原本预估能达到这种准确率的方法要几十年后才会面世。


但是它就这么突然出现了,就像当年的AlphaGo 一样。


这是偶然么?或许这也是必然。


当年研究AlphaGo 积攒的人才、经验和学术成就,让Alpha Fold 的研究如虎添翼,而现在他们已经盯上天体物理、计算化学等基础科学领域。


人们这几年疯狂刷 “ ImageNet ” 图像识别准确率、参加 Kaggle 机器学习比赛,不断互相竞争和学习,把图像处理、机器学习推向高峰,我们生活中接触到的面部识别、AI 捏脸等都沾了这些成果的光。


现在问题来了,AI 学会打游戏有什么意义呢?


其实王者绝悟、星际争霸 AI 背后遇到的技术难题,包括不完全信息、多智能体协同策略等等,其中得到经验和方法,没准也可以在未来的医疗、智能工业、自动驾驶、智慧城市等领域得到应用。。。


举个例子,如果把每个红绿灯都看作一个智能体,那么这些红绿灯应该怎么配合才能让车流更加顺畅,减少交通堵塞?


虽然这看起来和王者荣耀的场景并不一样,但实际上解决起来背后的算法是互通的,就是协同策略的问题。


我们又知道,评价 AI 算法优劣是很困难的一件事。


譬如我们要验证自动驾驶技术,如果我们一开始就造个车或者造个真实场景来验证,成本很大,很浪费。


后面英伟达、Google等公司、甚至独立的开发者们都开始在 《GTA5》 上训练无人驾驶 AI。


B站@XuDongLiang_自制自动驾驶AI ▼


在游戏上验证,研究员们就可以专心研究算法,而不用纠结平台的建造和成本问题。


如果要评价游戏对于 AI 研究的意义,举个类似的感觉,就像是果蝇对于生物研究的意义,因为它们都是成本低廉且便捷的。


同时,AI 研究领域也有个说法 “ 下一个 AI 里程碑,可能会在复杂策略游戏中诞生 ”。


为了抢占先机,世界顶尖的科技公司都在探索相应的技术,让 OpenAI 一炮而红的 OpenAI Five、DeepMind 的星际争霸 AI AlphaStar、连 Facebook 也在打造 AI CherryPi,当然也包括腾讯的王者绝悟。


论文中王者绝悟的训练模型 ▼


而王者荣耀和腾讯AI Lab合作搭建的开悟平台,为国内AI学术界提供了一个试验场,让国内高校也能在复杂策略游戏中开展研究。


将来,开悟还要和北大、中科大等高校一起开发 AI 课程。


按照王者荣耀执行制作人、腾讯天美L1总经理黄蓝枭的话来说,他们为此开放了《王者荣耀》的核心机制,提供标准接口、核心算法、脱敏的测试数据、评估工具和计算集群等,给高校师生进行多智能体的机器学习算法研究、学习成果交流、对算法成果反复迭代升级提供便利条件。


游戏和学习相结合,早几年有这好事儿估计鲫鱼也是 AI 研究员了。。。


也许,现实社会中的问题比游戏中的要复杂的多,但我们想要在这个领域获得突破,就少不了一步一个脚印的去积累,去成长。


去年跟王者绝悟死磕到底的我,现在也可以骄傲的说一声,当年咱也是参加过全民级 AI 研究的人~


郑重声明:文章仅代表原作者观点,不代表本站立场;如有侵权、违规,可直接反馈本站,我们将会作修改或删除处理。