公眾號

關注微信公眾號

移動端

創頭條企服版APP

商標注冊云服務辦公孵化推廣通雙創地圖

云棲十年，阿里和阿里云的四次技術抉擇

天下網商 2019-10-07 10:44 搶發第一評

摘要：十年中阿里云越戰越勇已經成為中國企業數字化轉型的關鍵力量。

天下網商記者? 張超

掐指算來，云棲大會已經完整走過了10年。

不知道有多少人會記得10年前的2009年，阿里巴巴舉辦的名叫“中國地方網站發展論壇”的大會，那時國內云計算產業也剛起步。全國各地的200家地方網站共聚一堂，用更多實際的行動同無數的社區網站對接，解決中小站點的技術問題，這是云棲大會能追溯到的最早的前身。

第一屆2009中國地方網站發展論壇

駐云科技CEO蔣爍淼是阿里云最早的客戶和伙伴，他在十年中見證了云棲大會四易其名，從“中國地方網站發展論壇”到“站長大會”，再到“阿里云開發者大會”，最終化繭成蝶，成了如今的“云棲大會”。

讓他印象最深的是2010年，馬云第一次上“云棲大會”演講，臺下只有幾百位聽眾，都是來自全國各地的個人站長。

那一年的海外海酒店，很多站長追著馬云問“移動互聯網的下一個機會在哪里？”

馬云笑答：“我很同意，云計算會創造更大的機遇，創業更加方便，更加安全，成本更加低。可不要以為這是機會，所有人都一樣（看得見機會），你的架構和網站給社會創造了什么價值，有我和沒我有什么區別，想清楚這個，機會才大。”

2010年舉辦的大會名為站長大會

但是那個時候，幾乎沒人看好云計算的未來，一些反對者的邏輯簡單粗暴，云計算沒前途，就連美國人都搞不起來。到了2010年3月的中國IT領袖峰會，李彥宏不客氣地說云計算只是新瓶裝舊酒，馬化騰則認為云計算是好東西，但是太遙遠。

然而，馬云堅定看好云計算。事實證明，他是對的。

這10年來，互聯網江湖風云變幻，越來越多的企業開始投身到數字化的浪潮中，而阿里已經逐漸成長為中國企業數字化轉型的關鍵力量。

但很多人不知道的是，阿里在這10年中，有過困難、也有過淚水，好在阿里有那么一幫人，在影響阿里生存和前途的四次關鍵技術抉擇中，選擇堅持，選擇相信，才成就了如今的阿里巴巴。

阿里要發展必須要“去IOE”

時間回到2008年，當時阿里旗下的三大業務阿里巴巴B2B網站、淘寶、支付寶都在用Oracle（甲骨文）數據庫。

而Oracle數據庫跟IBM生產的小型機、 EMC生產的存儲硬件配合使用，效果很明顯，早幾年使用時，甚至速度快到根本不用做任何優化，而這三家設備合起來就是“IOE設備”。

阿里和國內互聯網企業一樣，“IOE設備”離不開身，有一段時間，甚至一排一排地買IBM小型機。

當年，淘寶和支付寶使用的絕大部分都是IOE設備。

但是經歷了06-07年的爆發式增長后發現，“IOE設備”弊端凸顯。

比如貴。一臺IBM小型機就要500萬，兩臺小型機就要配一個300萬的 EMC 存儲，一排一排地買小型機，就不知道花了多少個500萬，Oracle商業數據庫軟件費用大概要幾千萬元人民幣，還得外加一大筆維護費。IBM的鐵架子（服務器）躺著拿走了阿里巴巴不少利潤。

又比如設備制約，擴展有限。當年每天早上八點到九點半之間，淘寶和支付寶的服務器處理器使用率都會飆升到 98%，離爆棚就差兩個百分點。

當年阿里的數據庫已經成為全亞洲最大的數據庫用戶。以當時的技術能力，如此大的數據庫已經幾乎不具備擴展可能。

時任阿里巴巴研發院業務發展專家孫黎明說，“我們把全中國最知名的頂尖的DBA（數據庫管理員）請到公司，一個晚上一張報表都做不出來，沒有任何一家公司包括IBM、微軟，能夠為我們提供一整套的技術服務。”

面對阿里巴巴面對的窘迫，馬云出面邀請到了時任微軟亞洲研究院常務副院長王堅加盟，擔任阿里巴巴首席架構師。

王堅

王堅早前曾是浙江大學的心理學系教授，博士生導師。這樣一位首席架構師，既不是程序員、也不會寫代碼，到任后提出的第一件大事卻足以讓阿里的程序員們震驚，“去IOE”。

“去IOE”說得容易，但做起來卻非常難。但歷經各種挑戰之后，阿里這幫工程師確實拿出了一套新的技術架構。

大致的替代方案是這樣的：以廉價的PC服務器替代小型機，以基于開源MySQL數據庫的自研AliSQL數據庫替代Oracle數據庫，以阿里云代替高端存儲設備，形成一個嶄新的計算系統，代替原來的IOE傳統IT架構。

大事不斷迭起的2009年

研究新計算系統的重任落到了2009年成立的阿里云身上。

完成這個重任，有兩條路可以選，一條基于開源協議和軟件構建一套計算系統（云梯1，以Hadoop 為基礎），另一條就是純自主研發通用大規模分布式計算系統（云梯2，飛天），阿里做了兩手準備，兩條路同時上。

2009年春節后上班的第一天，在北京上地的匯眾大廈203那間連暖氣都沒有的辦公室里，一幫工程師一邊口呼白氣，一邊敲出了“飛天”的第一行代碼。

飛天的第一行代碼

然而，計算系統搞出來了，在哪里試用又是一個大問題。

現在大家都會提到當時淘寶的技術團隊愿意創新，去嘗試“去IOE”這件事，但這是沒有辦法的辦法。

當淘寶宣布要放棄Oracle，轉投自研數據庫架構的時候，淘寶八十多個 Oracle 工程師把時任淘寶技術保障數據庫管理員的負責人后羿堵在了辦公室里，群情激憤。

但是去IOE的大勢是不可能扭轉的。

2009年秋天，轟轟烈烈的 IT 架構升級項目在淘寶網正式啟動。一群 Oracle 工程師，就這樣含著淚，一點一點親手拆毀自己安身立命的系統……

就這樣，云梯1、云梯2，兩套系統一邊搭建，一邊在淘寶內部實驗，一邊承擔部分計算任務以緩解現有系統不足的壓力。

同樣在2009年，王堅還去了一趟美國硅谷。

在斯坦福大學的一場演講中，他第一次分享了“飛天”的基本想法。但是很多人認為在中國做“飛天”這樣的事一點都不靠譜，甚至王堅都覺得這些人是對的，因為“飛天”的難度確實太高了。

不過讓王堅高興的是，有不少對“飛天”持懷疑態度的人陸續加盟阿里云，從事“飛天”技術的研發，他說，“因為做云計算，多多少少需要點浪漫主義的精神，否則做不好”。

這一年還發生了一件大事，阿里云“坑了”未來的阿里云總裁胡曉明（孫權，后來接替王堅出任阿里云總裁）。

胡曉明和阿里金融的第一個產品“牧羊犬”

當年6月，金融大咖胡曉明在阿里進行內部創業，擔任阿里金融的總裁。這次內部創業前，他答應了馬云提出的兩個條件：

第一，要做100萬人民幣以下的貸款生意，幫助借不到錢的創業者；第二但要和剛成立的阿里云綁在一起，用阿里云的技術架構支撐阿里金融的服務。

“牧羊犬”是阿里金融的第一個產品，簡單來說就是給淘寶商家貸款的項目。時任阿里金融研發工程師王國濤回憶：“當時阿里云一邊搭建飛天平臺，我們就一邊在飛天上面開發牧羊犬應用。這就像是開發商一邊在造房子，我們一邊在室內裝修鋪地板。”

而當時阿里云好不好用？是真不好用，各種 Bug 形式翻新，永不重復。

馬上要2010年的春節都要到了，胡曉明率先帶著核心骨干跑到王堅辦公室門口“討說法”。

胡曉明是出名的“只要認定的事情就一定要辦成”，大有在王堅辦公室打地鋪靜坐的架勢。

王堅無奈，派出所有的技術工程師，駐扎在阿里金融的現場加班開發，只為了“讓兄弟團隊能過個好年”。

當年春節之后，阿里云發布了一次大版本升級，之后的阿里云，妙不可言。

巨大的計算力讓阿里金融實現了“秒級”放貸。正是因為阿里云“高效低價”的加持，單賬戶每年的 IT 成本可以控制在1元以內。

阿里金融，成為了后來的網商銀行。他們就這樣無意間成為了中國第一個上云的銀行。

突破5K 飛天成了

不過事情總不是一帆風順的，阿里云開始面對一個世界級的難題，無論云梯1還是云梯2都沒法獨自調度 5000 臺服務器，簡稱5K。

云棲小鎮的5K雕塑刻著飛天團隊所有在職和離職工程師的名字

時間到了2012年，以開源軟件為基礎的“云梯1”計劃實現了4000臺集群調度，而阿里云團隊更看好的純自研“云梯2”還在1500臺集群數量徘徊。

從2010年開始到2012年，幾年時間，阿里云死磕5K，毫無進展，那幾年阿里云整個部門都在集團拿最低分，而關于王堅的議論更多，很多阿里的同學都叫王堅“騙子”，關閉阿里云的流言到處飛。

2012年阿里云的年會上，王堅一邊哭一邊說，“這兩年我挨的罵甚至比我一輩子挨的罵還多。但是，我不后悔。……”

關鍵時刻，馬云站出來了。他公開對阿里的高管們說，“我每年給阿里云投 10 個億，投個10年，做不出來再說。”

這一次，流言平息，大家的關注點回落到云梯1和云梯2上。因為更加火燒眉毛的事情出現了。

2013年3月28日，一封來自集團技術保障部架構師云錚的郵件直達高層：按照數據增量與未來業務增長的情況，云梯1和云梯2兩套系統的存儲和計算能力將在今年6月21日到達瓶頸。

如果繼續分別對云梯1、云梯2投入、重復建設，開發和維護成本很高，浪費巨大，上個月的時間，必須舍棄一個，全力做好另一個。

當時，大部分人都認為經過全世界驗證的 Hadoop 為基礎的“云梯1”更有希望，但是王堅堅定選擇了打造“飛天”，于是阿里云大舉投入“云梯2”。

2013年第三屆阿里云開發者大會改在了現在的云棲小鎮

2013年10月，阿里獨立研發的飛天5K計劃完成，單集群服務器規模達到5000臺，100TB排序能在30分鐘完成，遠超今年雅虎公司同年7月創造的世界紀錄—71分鐘。阿里云成為世界上第一個對外提供5K云計算服務能力的公司。

阿里云終于在集團內證明了自己，阿里內部關于做不做云計算，王堅到底靠不靠普的爭論突然就煙消云散了。

城市大腦效果顯著

現在的飛天，已經深入到各個領域，工業、農業、政務、動畫、交通……逐漸成為一種公共服務。

比如杭州在用的“城市大腦”。

“城市大腦”是2016年3月由王堅首次提出來的。

2016年10月，阿里云開發者大會改名“云棲大會”后的第二年，這一年的云棲大會上，杭州市發布了全球第一個城市大腦計劃。

會上王堅曾感慨，世界上最遙遠的距離不是從南極到北極，而是從紅綠燈到交通攝像頭，它們同在一根桿上，但從來沒有通過數據被連接過，攝像頭看到的東西永遠不會變成紅綠燈的行動。

杭州城市大腦

2017年7月，杭州城市大腦V1.0版本系統正式上線運行，一年后，效果顯著。

通過一年的努力，杭州城市大腦成功接管128個路口，試點區域通行時間減少15.3%，高架道路出行時間節省4.6分鐘，攝像頭和信號燈終于“發生關系”了。

在主城區，城市大腦對交通事件進行智能報警，日均事件報警數達5000次，準確率達92%，大大提高了執法指向性。

在蕭山區，城市大腦讓交通信號燈聽到救護車的呼喚，創新實現了120救護車等特種車輛的優先調度，120救護車到達現場的時間縮短一半。

數據還顯示，城市大腦上線一年，視頻監控自動發現事件19200起，對城市的事故和違章進行自動檢測和報警，包括摩托車闖禁、交通事故等，支撐了交通事件的快速處理；新發現了6個交通亂點，通過嚴格管理、優化交通組織后得到了改善；進行了信號燈優化配時調整，信號燈報警并調整配時方案8000余次……

現在，城市大腦可以通過已經存在的攝像頭數據，看到每一個路口過了多少輛車，車的類型、走向，還可以獲得行人的信息，比如行人有多少，過紅綠燈要多長時間，等待了多長時間。新的通過視覺收集到的信息可以放在交通優化模型里，識別并提前預測出交通堵點，并能夠得到更準確的紅綠燈優化配置方案……

中臺與阿里云全面結合

阿里的中臺概念，最早可以追溯到2008年。

當年5月10日，阿里發布了淘寶商城，也就是現在的天貓。現在的你能想象當時淘寶商城和淘寶網是相互獨立的兩套系統嗎？淘寶商城有自己獨立的會員、商品、交易、店鋪、優惠積分等系統，唯一和淘寶共享的是會員數據，淘寶商城運行了半年，由于數據和系統的獨立，沒辦法方便快速借力淘寶的大流量，這也不符合互聯網快速變化業務的特性，所以業務方決定徹底打通淘寶和淘寶商城的數據和系統。

誰也沒想到，這次以業務目的為出發點的整合，卻給整個阿里的架構帶來了巨大的正面的進化，這就是中臺的雛形。

2008年10月，淘寶網和淘寶商城的數據打通項目開始啟動，代號“五彩石”，這個項目由時任淘寶技術總架構師張建鋒直接負責，常駐杭州華星世紀大樓1樓的項目室。研發人員有60多人，項目結束后統計參與人員共計200多人。在這個項目之前，一般超過10人參與的項目就已經算是公司級的大項目了，可見當時這個項目的決心。

五彩石項目是分三期來實施的，都帶有明確的業務目標，第一期完成商品體系的整合，第二期完成交易體系的整合，第三期以打通淘寶網的店鋪和淘寶商城的店鋪為主。另外一條項目主線是架構重構，通過不斷抽取共享服務，形成服務化架構的電商平臺。

五彩石項目并沒有以淘寶網或者淘寶商城的架構為基礎進行演進式改進，而是進行了徹底的重構，是一次全新的架構升級。

這其中就有了后來中臺的影子：比如抽離出每個業務的共性功能，如交易、支付、會員等等，打包成“磚塊”，房子千奇百怪，但磚頭都是一樣的，做一個新業務就變得非常容易；又比如讓數據沉淀到統一的池子，為之后喂養數據智能奠定基礎。

另外，為了解決隨之帶來的技術擴展性問題，五彩石項目還引進了分布式中間件技術，本質上是讓多臺廉價PC服務器組成一臺超級服務器。

2009年，淘寶商城成立第二年，第一屆“雙11”活動誕生，淘寶商城的成交額是平時的10倍，效果驚人，證明了五彩石項目獲得了成功……

十年時間，五彩石項目化身中臺，阿里云則在2018年升級為阿里云智能，將中臺能力與云全面結合。

現在阿里云也正在發揮中臺優勢，為商家賦能。

波司登信息總監桂益龍回憶，“2016年，波司登借助阿里云的互聯網中間件技術，依托企業級互聯網架構建設波司登‘零售云’平臺，基于中臺架構思想，結合波司登的業務特性，建立起波司登‘零售業務共享服務層’，包括全局共享的用戶中心、交易中心、庫存中心、訂單中心，然后基于共享中臺構建上層業務模塊，這些業務模塊能夠靈活適應不同業務項目、不同業務流程。”

波司登通過“零售云”平臺，可以實時監控全國3000多家門店的庫存和銷售情況，進而降低庫存壓力和物流成本，提升商品售罄率，近兩年利潤猛增。

達摩院開啟下一個十年

2017年10月杭州云棲大會上，阿里巴巴達摩院正式亮相，時任阿里巴巴集團首席技術官張建鋒兼任達摩院首任院長。

現任阿里巴巴首席技術官、阿里云智能事業群總裁、達摩院院長張建鋒

這是一個馬云寄予厚望的部門，承載了阿里巴巴最頂尖的研發資源，達摩院意味著技術創新，也代表著阿里的未來。

馬云還對“達摩院”提出了三個要求。

第一，必須活的比阿里巴巴長久，“企業是有周期的，但能留下來的，是阿里巴巴的技術、經驗以及對社會的擔當。現在我們已經18年了，還有84年要走，“達摩院”至少要活85年”。

第二，“達摩院”至少要服務全世界20億人口，為1000萬家企業創造盈利的空間和機遇，“希望達摩研究院解決1億就業機會，即普惠共享、可持續發展以及快樂”。

第三，“達摩院”必須自己具備盈利的能力，“天下只有自己靠得住”，今年阿里巴巴將啟用1000億人民幣作為啟動基金，在全球尋找人才，但是未來得依靠“達摩院”自己。

在武俠世界里，“達摩院”代表著武林絕學和至尊，這是時任阿里巴巴董事局主席馬云為新成立的研究院取的名字。

但在10多年前，馬云甚至還在堅決反對公司有任何研究室、實驗室，因為在他看來，當時阿里巴巴還是一個初創公司，在還沒有立足之前就考慮研發是大災難。

“達摩院”首批公布的 13 個研究領域，包括量子計算、機器學習、基礎算法、網絡安全、視覺計算、自然語言處理、下一代人機交互、芯片技術、傳感器技術、嵌入式系統等，涵蓋機器智能、智聯網、金融科技等多個產業領域。