“我突然想起了一句話，神仙怎么打都是對(duì)的。”

　　“這個(gè)AI的牌效不是一般鳳凰(有一定實(shí)力的玩家)能摸清的，人名字就是super phoenix(超級(jí)鳳凰)?！?/p>

　　“感覺ai的打法都不太能被推理完全，這種基于訓(xùn)練的對(duì)某種特征做出的反應(yīng)對(duì)于人類來說就是迷啊…”

　　這些評(píng)論來自于B站上一個(gè)系列的視頻，視頻主角是一個(gè)名為Suphx(意為 Super Phoenix)的麻將 AI。2019年6月，有創(chuàng)作者開始制作Suphx牌譜的視頻。上傳到B站后，引起了不少麻將愛好者的討論。

　　在多數(shù)評(píng)論里，Suphx被稱為“最強(qiáng)日麻人工智能”。

　　事實(shí)上，不止是國(guó)內(nèi)的B站，當(dāng)時(shí)Suphx的聲名已經(jīng)傳遍了日本麻將界。

　　神秘的最強(qiáng)日麻AI

　　2019年3月起，Suphx獲批進(jìn)入專業(yè)麻將平臺(tái)“天鳳”。短短四個(gè)月內(nèi)，Suphx在該平臺(tái)瘋狂對(duì)戰(zhàn)5760次，成功達(dá)到十段，從而在日本麻將界聲名大噪。

　　麻將在中國(guó)群眾基礎(chǔ)深厚、普及率高，有“國(guó)粹”之稱，但民間流行的麻將規(guī)則不一，且競(jìng)技化程度相對(duì)較低，而日本麻將擁有世界上競(jìng)技化程度最高的麻將規(guī)則。天鳳則是業(yè)界知名的高水平日本麻將平臺(tái)。它吸引了全球近33萬名麻將愛好者，其中不乏大量的專業(yè)麻將選手。

　　天鳳平臺(tái)規(guī)定，只有獲批準(zhǔn)的AI才可以進(jìn)入“特上房”參與對(duì)戰(zhàn)，目前在該房間可以達(dá)到的最高段位是十段。另一個(gè)房間是“鳳凰房”，最高段位是十一段，僅對(duì)七段以上的人類付費(fèi)玩家開放，目前不允許AI參與游戲。

　　除了Suphx，還有另外兩個(gè)AI也獲準(zhǔn)進(jìn)入“特上房”比賽，分別是“爆打”和“NAGA25”。目前，Suphx是唯一一個(gè)達(dá)到“特上房”最高段位的AI。

　　由于單局麻將存在著很大的運(yùn)氣成分，所以天鳳平臺(tái)會(huì)通過“穩(wěn)定段位”來衡量一位玩家的真實(shí)水平。在5760場(chǎng)比賽過后，Suphx的穩(wěn)定段位超過了8.7，不僅高于爆打和NAGA，還超越了頂級(jí)人類選手(十段及以上)的整體穩(wěn)定段位。

　　這些成就意味著，Suphx在四個(gè)月內(nèi)成長(zhǎng)為了最強(qiáng)日麻AI。日本麻將的愛好者和專業(yè)參賽選手，紛紛尋找著它背后的開發(fā)者，但一無所獲。

　　(Suphx 的官方社交賬號(hào)上，只有簡(jiǎn)單的介紹)

　　直到8月29日世界人工智能大會(huì)舉行，Suphx的身世才被公諸于世。當(dāng)天上午，微軟全球執(zhí)行副總裁、微軟人工智能及微軟研究事業(yè)部負(fù)責(zé)人沈向洋博士對(duì)外宣布，Suphx是微軟亞洲研究院的工作成果，由劉鐵巖博士帶隊(duì)研發(fā)。

　　劉鐵巖博士是微軟亞洲研究院副院長(zhǎng)，長(zhǎng)于深度學(xué)習(xí)、增強(qiáng)學(xué)習(xí)、分布式機(jī)器學(xué)習(xí)等領(lǐng)域。他的團(tuán)隊(duì)曾發(fā)布了微軟分布式機(jī)器學(xué)習(xí)工具包(DMTK)、微軟圖引擎(Graph Engine)等開源項(xiàng)目。

　　(微軟亞洲研究院副院長(zhǎng)劉鐵巖)

　　對(duì)AI來說，為什么麻將比圍棋、德州撲克更難？

　　“2017年中旬，我們一個(gè)研究團(tuán)隊(duì)跟我說要做麻將AI。我也不知道能不能成，因?yàn)橄啾认笃濉濉⒌轮輷淇耍閷⒌碾y度更高。而且，他們打麻將水平都不怎么樣。”微軟全球資深副總裁、微軟亞太研發(fā)集團(tuán)主席兼微軟亞洲研究院院長(zhǎng)洪小文對(duì)PingWest品玩表示。

　　麻將的難，在于其屬于“不完美信息游戲”(Imperfect-Information Games)，讓計(jì)算機(jī)擅長(zhǎng)的搜索能力無法直接發(fā)揮，且具備復(fù)雜的獎(jiǎng)勵(lì)機(jī)制。

　　不完美信息游戲，是指游戲中信息暴露程度低?！皣?、象棋等棋類游戲，對(duì)局雙方可以看到局面的所有信息，屬于完美信息游戲(Perfect-Information Games);而撲克、橋牌、麻將等游戲，雖然每個(gè)參與者都能看到對(duì)手打過的牌，但并不知道對(duì)手的手牌和游戲的底牌，屬于不完美信息游戲”。

　　在日本麻將中，每個(gè)玩家有13張手牌，另外還有84張底牌。對(duì)于一個(gè)玩家而言，他只知道自己手里的13張牌和之前已經(jīng)打出來的牌，卻無法知道別人的手牌和沒有翻出來的底牌。所以，最多的時(shí)候一位玩家未知的牌有超過120張。

　　為了更好地解釋不完美信息游戲，劉鐵巖打了個(gè)比方：“如果把圍棋這樣的(完美信息)比賽比喻成一顆游戲樹，那像麻將這樣的比賽就是很多樹組成的森林，參與者并不知道自己在哪棵樹上?！?/p>

　　對(duì)于完美信息游戲，通常可以用“狀態(tài)空間復(fù)雜度”和“游戲樹復(fù)雜度”來衡量其游戲難度。

　　所謂“狀態(tài)空間復(fù)雜度”，即游戲開始后，棋局進(jìn)行過程中，所有符合規(guī)則的狀態(tài)總數(shù)量?！袄缙孱愑螒蛑校恳苿?dòng)一枚棋子或捕獲一個(gè)棋子，就創(chuàng)造了一個(gè)新的棋盤狀態(tài)，所有這些棋盤狀態(tài)構(gòu)成游戲的狀態(tài)空間”。

　　計(jì)算狀態(tài)空間復(fù)雜度最常用的一種方法是，包含一些不符合規(guī)則或不可能在游戲中出現(xiàn)的狀態(tài)，從而計(jì)算出狀態(tài)空間的一個(gè)上界(Upper Bound)。例如在估計(jì)圍棋狀態(tài)數(shù)目上界的時(shí)候，允許出現(xiàn)棋面全部為白棋或者全部為黑棋的極端情況。

　　游戲樹復(fù)雜度(GTC)代表了所有不同游戲路徑的數(shù)目，是一個(gè)比狀態(tài)空間復(fù)雜得多的衡量維度，因?yàn)橥粋€(gè)狀態(tài)可以對(duì)應(yīng)于不同的博弈順序。

　　微軟亞洲研究院的博客舉了一個(gè)例子：下圖中，兩邊的井字棋游戲都有有兩個(gè)X和一個(gè)O，屬于同一狀態(tài)。但這個(gè)狀態(tài)可能由兩種不同的方式形成，形成路徑取決于第一個(gè)X的下子位置。

　　(井字棋游戲中統(tǒng)一狀態(tài)的不同形成過程)

　　在完美信息棋牌游戲中，不管是狀態(tài)空間復(fù)雜度，還是游戲樹復(fù)雜度，圍棋都遠(yuǎn)遠(yuǎn)超過其他棋牌類游戲。

　　而對(duì)于不完美信息游戲而言，衡量游戲難度的維度更加復(fù)雜，需要在狀態(tài)空間復(fù)雜度的基礎(chǔ)上引入一個(gè)新概念“信息集”。

　　舉例而言，在撲克游戲中，玩家A拿了兩張K，玩家B拿了不同的牌對(duì)應(yīng)不同的狀態(tài);但是從A的視角看，這些狀態(tài)是不可區(qū)分的。

　　“我們把每組這種無法區(qū)分的游戲狀態(tài)稱為一個(gè)信息集?！眲㈣F巖介紹道。

　　完美信息游戲里所有信息都是已知的，每個(gè)信息集只包含一個(gè)游戲狀態(tài)，因此它的信息集數(shù)目與狀態(tài)空間數(shù)目是相等的。

　　而不完美信息游戲中，每個(gè)信息集包含若干個(gè)游戲狀態(tài)，因此信息集數(shù)目通常小于狀態(tài)空間的數(shù)目。

　　與信息集數(shù)目匹配的，是信息集的平均大小。這個(gè)概念指的是在信息集中平均有多少不可區(qū)分的游戲狀態(tài)。

　　據(jù)微軟亞洲研究院博客，信息集的數(shù)目反映了不完美信息游戲中，所有可能的決策節(jié)點(diǎn)的數(shù)目，而信息集的平均大小則反映了游戲中每個(gè)局面背后隱藏信息的數(shù)量。當(dāng)對(duì)手的隱藏狀態(tài)非常多時(shí)，傳統(tǒng)的搜索算法基本上無從下手。

　　(圍棋、德州撲克、橋牌和麻將的信息集數(shù)目和信息集平均大小對(duì)比)

　　圍棋和德州撲克的信息集平均大小遠(yuǎn)遠(yuǎn)小于橋牌和麻將。AI在圍棋和德州撲克上的成功很大程度依賴于搜索算法，因?yàn)樗阉骺梢宰畲蟪潭鹊匕l(fā)揮計(jì)算機(jī)的計(jì)算優(yōu)勢(shì)。

　　橋牌和麻將中，由于信息集平均大小比較大，存在著較多隱藏信息，難以直接采用AlphaGo等棋盤游戲AI常用的蒙特卡洛樹搜索算法。

　　此外，日本麻將有著復(fù)雜的獎(jiǎng)勵(lì)機(jī)制。日麻一輪游戲共包含8局，最后根據(jù)8局的得分總和進(jìn)行排名，來形成最終影響段位的點(diǎn)數(shù)獎(jiǎng)懲。玩家的段位越高，輸?shù)舯荣惡罂鄣舻狞c(diǎn)數(shù)越多，因此有時(shí)麻將高手會(huì)策略性輸牌。

　　劉鐵巖舉例道：“比如，A玩家已經(jīng)大比分領(lǐng)先第二名的情況下，在底8輪時(shí)就會(huì)相對(duì)保守，確保自己不會(huì)輸?！边@為構(gòu)建高超的麻將AI策略帶來了額外的挑戰(zhàn)，AI需要審時(shí)度勢(shì)，把握進(jìn)攻與防守的時(shí)機(jī)。

　　Suphx是如何解決難題的？

　　項(xiàng)目一開始，劉鐵巖團(tuán)隊(duì)用了一些“基線(Baseline)的解決辦法”——嘗試用AlphaGo和德州撲克上的方法解一解看看怎么樣。

　　“麻將的種種特點(diǎn)決定了，很難直接利用AlphaGo等棋盤游戲AI常用的蒙特卡洛樹搜索算法?！眲㈣F巖強(qiáng)調(diào)，“這激勵(lì)我們要想出新的點(diǎn)子。”

　　在一年多的摸索期，劉鐵巖團(tuán)隊(duì)基于深度強(qiáng)化學(xué)習(xí)技術(shù)，并且引入三項(xiàng)新技術(shù)來提升強(qiáng)化學(xué)習(xí)的效果。深度強(qiáng)化學(xué)習(xí)是深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)的結(jié)合。這項(xiàng)技術(shù)集合了深度學(xué)習(xí)在感知問題上強(qiáng)大的理解能力，以及強(qiáng)化學(xué)習(xí)的決策能力，通常用于解決現(xiàn)實(shí)場(chǎng)景中的復(fù)雜問題。

　　在深度強(qiáng)化學(xué)習(xí)的基礎(chǔ)上，針對(duì)非完美信息游戲的特點(diǎn)，劉鐵巖團(tuán)隊(duì)嘗試用“先知教練”技術(shù)來提升強(qiáng)化學(xué)習(xí)的效果。

　　先知教練技術(shù)的基本思想是在自我博弈的訓(xùn)練階段，利用不可見的一些隱藏信息來引導(dǎo)AI模型的訓(xùn)練方向，使其學(xué)習(xí)路徑更加清晰、更加接近完美信息意義下的最優(yōu)路徑，從而倒逼AI模型更加深入地理解可見信息，從中找到有效的決策依據(jù)。

　　然而，在訓(xùn)練模型階段采用的先知教練技術(shù)，在真正的實(shí)戰(zhàn)中是沒有的，這意味著訓(xùn)練和實(shí)戰(zhàn)間存在著一個(gè) Gap(差距)。

　　劉鐵巖對(duì)PingWest品玩表示：“我們不能夠保證一定把那個(gè)Gap給抹掉，比如說它在訓(xùn)練階段能夠看到不該看到的東西，實(shí)戰(zhàn)中它是永遠(yuǎn)看不到的。這個(gè)信息的Gap我們是控制不了的，但是作為先知教練可以引導(dǎo)麻將AI不會(huì)走的太偏太遠(yuǎn)，會(huì)沿著我們想走的大方向走,。這個(gè)能保證訓(xùn)練過程的平穩(wěn)性，對(duì)深度強(qiáng)化學(xué)習(xí)是非常重要的。”

　　針對(duì)信息集平均大小比較大這個(gè)特點(diǎn)，研究團(tuán)隊(duì)引入了自適應(yīng)決策，對(duì)探索過程的多樣性進(jìn)行動(dòng)態(tài)調(diào)控，讓 Suphx 可以比傳統(tǒng)算法更加充分地試探牌局狀態(tài)的不同可能。

　　另外，對(duì)于日本麻將復(fù)雜的獎(jiǎng)勵(lì)機(jī)制，劉鐵巖團(tuán)隊(duì)加入了全盤預(yù)測(cè)技術(shù)。

　　“這個(gè)預(yù)測(cè)器通過精巧的設(shè)計(jì)，可以理解每輪比賽對(duì)終盤的不同貢獻(xiàn)，從而將終盤的獎(jiǎng)勵(lì)信號(hào)合理地分配回每一輪比賽之中，以便對(duì)自我博弈的過程進(jìn)行更加直接而有效的指導(dǎo)，并使得Suphx可以學(xué)會(huì)一些具有大局觀的高級(jí)技巧?！眲㈣F巖解釋道。

　　總體而言，Suphx使用的是深度強(qiáng)化學(xué)習(xí)這個(gè)大框架，但又加入了一些創(chuàng)新的技術(shù)點(diǎn)：先知教練、自適應(yīng)決策和全盤預(yù)測(cè)。

　　在 2019 年 3 月上線Suphx平臺(tái)之前，背后這一整套技術(shù)已經(jīng)有了雛形，同時(shí)進(jìn)行了大量的自我博弈。

　　“Suphx在線上對(duì)戰(zhàn)了5760場(chǎng)，但在線下自我博弈將近2000萬場(chǎng)。”劉鐵巖對(duì)PingWest品玩表示，“雖然自我博弈學(xué)到的信號(hào)數(shù)量很多，但是學(xué)到更多的是在自己身上怎么提高。5760場(chǎng)里面我們學(xué)到別人打法的風(fēng)格、以及實(shí)戰(zhàn)中遇到的困難應(yīng)該如何解決。”

　　劉鐵巖透露，研究團(tuán)隊(duì)計(jì)劃過一段時(shí)間會(huì)有一篇比較深入的科學(xué)論文跟大家分享, “在那里面大家會(huì)看到更多的細(xì)節(jié)”。

　　Suphx背后的技術(shù)可以用在什么地方？

　　在AI進(jìn)化的過程中，游戲AI一直相伴相生。1949年開始，就有科學(xué)家研究算法，讓計(jì)算機(jī)下國(guó)際象棋。雙陸棋、國(guó)際跳棋、國(guó)際象棋、圍棋等棋盤類游戲，都有人機(jī)對(duì)戰(zhàn)的蹤影。

　　1997年5月11日，國(guó)際象棋AI深藍(lán)在正常時(shí)限的比賽中，首次擊敗了等級(jí)分排名世界第一的棋手。這一天成為了人機(jī)對(duì)戰(zhàn)的里程碑。

　　在洪小文看來，游戲AI對(duì)解決現(xiàn)實(shí)問題有著重要的研究意義：“現(xiàn)實(shí)世界更加復(fù)雜，而游戲均有一個(gè)清晰的規(guī)則、勝負(fù)判定條件和行動(dòng)準(zhǔn)則。如果不定規(guī)則，大家各做各的，就無法交流。研究也是這樣的，將問題切成小問題，小問題里面規(guī)則定清楚，再往前走?！?/p>

　　麻將這一類不完美的信息游戲，正是現(xiàn)實(shí)生活中許多問題的映射。洪小文舉例道：“追女朋友、企業(yè)經(jīng)營(yíng)、投資，都有大量的你不知道的隱藏信息?！?/p>

　　雖然Suphx面世不久，背后的技術(shù)還沒有全部應(yīng)用到實(shí)際問題中，但部分技術(shù)已經(jīng)在做嘗試。

　　“我們和華夏基金以及太平資產(chǎn)合作，做了一些實(shí)盤投資的嘗試, 取得了非常好的效果?！眲㈣F巖告訴PingWest品玩，“我們用歷史交易數(shù)據(jù)訓(xùn)練的AI模型，到真正市場(chǎng)上會(huì)面臨完全不一樣的數(shù)據(jù)，所以要?jiǎng)討B(tài)地適應(yīng)實(shí)際場(chǎng)景并做出改變，這個(gè)和Suphx里面的自適應(yīng)決策是一脈相承的。”

　　盡管落地是研究的最終目標(biāo)，但洪小文認(rèn)為，純粹的好奇心對(duì)研究人員來說更加寶貴：“做這項(xiàng)研究的時(shí)候，他們有沒有想過未來可以怎么應(yīng)用？八成是沒有想，也不應(yīng)該想，以好奇心驅(qū)動(dòng)的研究是推動(dòng)整個(gè)科研發(fā)展的基石。最明顯的例子是，基礎(chǔ)數(shù)學(xué)很多研究在當(dāng)時(shí)都不見得有應(yīng)用?！?/p>

　　有意思的是，天鳳平臺(tái)CEO角田真吾在被問到“為什么會(huì)歡迎AI和人類對(duì)弈”時(shí)，給出了和洪小文幾乎一樣的措辭——純粹出自于人類的好奇心。