老实讲这个成绩比我想的要差不少……按我自己的估计,做麻将AI应该比AlphaZero这种简单的多。即使这里存在是否完全信息博弈的区别,那么至少麻将AI也应该远远简单于德州扑克的AI(例如近期公布并发论文的Pluribus):因为从人类的角度来看,由于几乎不涉及针对对手的动态调整,前者的EV容易估算很多。而微软目前的AI Suphx的成绩,说击败了人类顶尖玩家,是很难令人信服的——其实Pluribus也存在这个问题,但相对而言Suphx的说服力还是明显更差一些。
几篇相关的报道大概都提到类似的语句:
天凤平台通过计算稳定段位(Stable Rank)来衡量玩家的实力水平,在经过多场对局后依然能保持高而稳定的段位是非常不易的。在 5000 余场对局中,Suphx 的稳定段位超过了 8.7,是一个极高的数字。
但是可能由于报道媒体对天凤这一对战平台的不熟悉(从翻译为「稳定段位」而不是「安定段位」就可以看出来,不过见鬼,这对媒体人的要求也太苛刻了),安定段位8.7的概念还需要进一步的说明:相当于在足够多的对局数(样本量)下,这名玩家的段位应该在八段和九段之间徘徊;至于Suphx能上十段在8.7的安定段下也不值得惊讶,波动而已。
至于这个是什么水平,其实要再细分来说:天凤的最高段位桌为「凤凰」,而Suphx的成绩是在次高的「特上」完成的。在特上达到安定段8.7当然也是非常优秀的成绩(至少我自己在大样本下应该是没什么机会做到),也远超了之前东京大学的AI「爆打」(在30515战中安定段位为6.6),但并不足够好:
而且需要记住,这只是在特上桌的成绩(和凤凰桌的计分方式都不同)。如果再看凤凰桌的排名,那么500战以上,同时安定段位8.75以上的玩家,还有113人;Suphx当然已经是个优秀的玩家,但不会被归于Top Level,更别说打败这些玩家——实际上由于Suphx的成绩在特上桌完成,它应该缺少和顶尖玩家的实际对局。不过相信之后天凤很快会让Suphx上凤凰桌一展身手,过两三个月是可以期待一下初步成绩的。
如果让我瞎猜一下Suphx还不够强的原因,可能是麻将在每一时间点的组合数过多(相对德州扑克),导致训练优化的过程过于缓慢?但只作为围棋、日麻、德扑等项目的玩家来说,目前还没达到顶尖实力的AI,看起来并不像一个非常拿得出手的成果。