2019年7月24日，阿里云峰會(huì)開發(fā)者大會(huì)在上海開啟。在開源大數(shù)據(jù)專場(chǎng)上，阿里巴巴集團(tuán)副總裁、阿里巴巴計(jì)算平臺(tái)事業(yè)部總裁賈揚(yáng)清向開發(fā)者們就開源技術(shù)和社區(qū)以及服務(wù)商業(yè)的模式等方面做了精彩介紹。

賈揚(yáng)清指出，阿里希望通過開源會(huì)議包括開源開發(fā)者的活動(dòng)進(jìn)一步幫助國家和人工智能與開源開發(fā)者社區(qū)更有效地進(jìn)行溝通，把整個(gè)開源的技術(shù)再往上提升一個(gè)量級(jí)。

以下為賈揚(yáng)清現(xiàn)場(chǎng)分享全文實(shí)錄：

一直以來自己都是在做AI這方面的工作，我從畢業(yè)之后最開始在谷歌做相關(guān)的研究，后來又在facebook做人工智能架構(gòu)這方面的工作，我應(yīng)該是一個(gè)人工智能開發(fā)者加上大數(shù)據(jù)的使用者這樣一個(gè)身份。

今年3月份的時(shí)候，我發(fā)現(xiàn)咱們國內(nèi)的技術(shù)分類最近幾年發(fā)展的非常非常好。同時(shí)這樣的環(huán)境又是給大家提一個(gè)非常好的開發(fā)、利用、跟商業(yè)部署的一體化的環(huán)境，所以我特別榮幸并有機(jī)會(huì)在阿里云能夠跟大家一塊來建設(shè)開源的生態(tài)和開源的社區(qū)和開源的商業(yè)。

從AI的角度來說，大家都會(huì)覺得已經(jīng)到今天為止整個(gè)開源是非常深入人心的事情，從2013年的時(shí)候做可配單，非常多的非常優(yōu)秀的人工智能的框架到今天大家已經(jīng)非常耳熟能詳了。

2015年的時(shí)候Google推出來Tensorflow應(yīng)該說是現(xiàn)在最流行的大規(guī)模的可以商業(yè)應(yīng)用的人工智能的框架。前年的時(shí)候，我們?cè)趂acebook推出了PyTorch1.0這樣的框架，來實(shí)現(xiàn)更加靈活的從科研到部署的環(huán)境。應(yīng)該來說前面幾年人工智能整個(gè)的發(fā)展適合開源的社區(qū)跟大家接觸開源共享的精神是分不開的。

從整個(gè)開源社區(qū)的角度來看，我們會(huì)看到全球整個(gè)社區(qū)是非常非常蓬勃發(fā)展的，這是我們所總結(jié)出來的數(shù)據(jù)。今天我們總共有3100萬的用戶在get ?up上活躍的進(jìn)行各種軟件的開發(fā)，210萬個(gè)組織建立了全球大概9600萬個(gè)倉庫那么多的開源的項(xiàng)目。我們還可以看到很多內(nèi)容都是2018年的時(shí)候新增的，2018年的增長速度超過很多年的總和。

????從全球的趨勢(shì)來看，開源是一個(gè)大勢(shì)所趨的軟件發(fā)展一個(gè)方向，之前咱們經(jīng)常在說和咱們?cè)趪鴥?nèi)在開源的心態(tài)上面是一個(gè)什么樣的發(fā)展，我們可以看到星空院有這樣的報(bào)告，之前我們覺得開源是國際上大家玩的比較好咱們國內(nèi)剛剛起步的東西。我非常開心特別驚訝的發(fā)現(xiàn)在國內(nèi)咱們其實(shí)今天開源的整個(gè)心態(tài)也是非常深入人心的，從企業(yè)角度來說超過一半的企業(yè)都已經(jīng)選擇開源的商業(yè)，而且有很多企業(yè)通過社區(qū)來了解開源的軟件，把開源納入自己的技術(shù)體系當(dāng)中去。總共接近90%的企業(yè)認(rèn)為開源是非常自然選擇的解決方案。這一點(diǎn)是非常振奮人心的事情，跟咱們?cè)谌蚩吹降男枨笫且恢碌摹?/p>

????從阿里云的角度來說，我們對(duì)于開源的定位是什么樣的？阿里有兩個(gè)說法，一個(gè)是自主可控。我們?cè)谇懊媸曛畠?nèi)非常驕傲的一點(diǎn)是建立了從底層大規(guī)模的管理和資源的優(yōu)化到上層的解決方案和大數(shù)據(jù)平臺(tái)。我們通過自己的業(yè)務(wù)反哺技術(shù)的需求做了一套非常好的解決方案，同時(shí)我們又是兼容開源的，運(yùn)用不同開源不同的戶外項(xiàng)目，打起一整個(gè)自主可控的大廈，同時(shí)我們?cè)陂_源領(lǐng)域做了非常多的共享，所以今天有機(jī)會(huì)給大家分享一下我們做的事情。

????首先我們是擁抱開源的態(tài)度，這基本上奠定了我們阿里云或者現(xiàn)在所有云廠商的基石。再往上，我們?cè)谶@樣的環(huán)境下面不斷地貢獻(xiàn)我們的技術(shù)力量到這些項(xiàng)目當(dāng)中來，無論是從支持開源，還是我們一線的同學(xué)都非常熱情的投入到開源的項(xiàng)目當(dāng)中。

????另外一個(gè)開源一定程度上離不開經(jīng)濟(jì)規(guī)律的控制，也就是說我們今后開源還是需要提供價(jià)值。今天我們看到非常多的基礎(chǔ)架構(gòu)已經(jīng)挪到云上的時(shí)候，云其實(shí)是開源軟件可以實(shí)現(xiàn)商業(yè)價(jià)值對(duì)接企業(yè)商業(yè)活動(dòng)的非常好的解釋。這是我們阿里云在開源這個(gè)方面一直在考慮的，即從最開始擁抱開源到最后的跟開源共贏商業(yè)價(jià)值。

????從擁抱開源來說，從阿里巴巴整個(gè)淘寶這些業(yè)務(wù)開始，到今天在阿里云上面向企業(yè)提供INS和Caffe的服務(wù)，我們的底層都是借鑒了非常多或者使用了非常多的開源的項(xiàng)目，從服務(wù)器到大數(shù)據(jù)方面以及最新的人工智能的應(yīng)用。如果沒有這些開源項(xiàng)目的話，對(duì)于我們來說要構(gòu)建一個(gè)完整的業(yè)務(wù)系統(tǒng)是非常困難的事情，我們非常感激，我們也非常熱切的在和開源的整個(gè)系統(tǒng)做擁抱。

????在這樣的基礎(chǔ)上，我們發(fā)現(xiàn)我們對(duì)于開源的應(yīng)用和自己業(yè)務(wù)整個(gè)的流程一起跑起來之后，我們會(huì)發(fā)現(xiàn)非常多的具體的開源的項(xiàng)目當(dāng)中可能當(dāng)時(shí)沒有考慮到的事情，我們知道開源其實(shí)很多時(shí)候從一顆種子開始都是我們開發(fā)者內(nèi)心有一個(gè)想設(shè)計(jì)一套系統(tǒng)或者設(shè)計(jì)一套項(xiàng)目的方法。

我們有非常巧妙的設(shè)計(jì)和非常深思熟慮的架構(gòu)思考等等，對(duì)于開源很多設(shè)計(jì)會(huì)起到一個(gè)反饋的效果。我們發(fā)現(xiàn)在阿里這樣大規(guī)模業(yè)務(wù)上面經(jīng)常會(huì)長出一些對(duì)于開源怎么樣來走或者怎么樣來改進(jìn)的想法。所以我們整個(gè)對(duì)于開源社區(qū)的貢獻(xiàn)一個(gè)非常活躍的態(tài)度，從阿里自己的統(tǒng)計(jì)來說，我們有非常大的自己所建立的開源項(xiàng)目，或者我們對(duì)于現(xiàn)有開源項(xiàng)目的貢獻(xiàn)。

基本上總結(jié)來說，今年在國內(nèi)TOP10的項(xiàng)目當(dāng)中，阿里占其中6個(gè)，像Flink就是我們非常自豪的擁抱和被開源的項(xiàng)目。在這樣的基礎(chǔ)上面，我們?nèi)绻皇顷P(guān)注大數(shù)據(jù)和人工智能這一塊，我基本上到現(xiàn)在為止向社區(qū)貢獻(xiàn)了超過大概一百萬行的代碼。

同時(shí)，在這個(gè)過程當(dāng)中我們阿里非常優(yōu)秀的工程師逐漸的開始被開源的社區(qū)所接受，開源社區(qū)也邀請(qǐng)阿里的同學(xué)們作為確定這些項(xiàng)目下一步方向的參與者，我們有大概超過50個(gè)從業(yè)者從最底層的存儲(chǔ)的ORC項(xiàng)目到Spark、Flink等等這樣項(xiàng)目當(dāng)中。

我想講一個(gè)例子，為什么我們能夠?qū)τ陂_源做一些比較深入的思考和貢獻(xiàn)，這跟我們實(shí)際業(yè)務(wù)當(dāng)中的壓力是有關(guān)系的。

我們提到Flink，F(xiàn)link是雙11的時(shí)候在底層做流式計(jì)算當(dāng)中中流砥柱的框架，雙11是怎么樣的概念？十年之前我們剛開始雙11的時(shí)候，我們的體量非常少，幾千個(gè)商家?guī)兹f個(gè)用戶在上面就可以了，那個(gè)時(shí)候?qū)τ谙到y(tǒng)的壓力不是太大，隨便部署一個(gè)流計(jì)算的產(chǎn)品就可以了。

但是雙11從去年到現(xiàn)在我們發(fā)現(xiàn)已經(jīng)有幾億的用戶在上面，非常大規(guī)模的在做購買、瀏覽這些事情。基本上咱們后臺(tái)的同學(xué)特別緊張的，在前一天23點(diǎn)59分的時(shí)候就在那兒看著，這對(duì)于每一個(gè)在雙11的時(shí)候看著這個(gè)系統(tǒng)的同學(xué)都是一個(gè)非常大的心理挑戰(zhàn)。

????這個(gè)導(dǎo)致的結(jié)果是什么，開源很多的設(shè)計(jì)我們逐漸發(fā)現(xiàn)說有很多設(shè)計(jì)并沒有太關(guān)注那么大體量下的壓力等等，所以我們?cè)谏厦骈_發(fā)了非常多的優(yōu)化，這些優(yōu)化一方面可能在一個(gè)小的場(chǎng)景下面，也許之前大家并沒有太關(guān)注。但是如果我們要來考慮商業(yè)化的話，每個(gè)公司到大了之后都會(huì)免不了會(huì)發(fā)現(xiàn)問題，現(xiàn)在人工智能方面我們也發(fā)現(xiàn)類似的情況。

當(dāng)年我們最開始做Caffe，做Tensorflow，做Pytorch這三個(gè)上一代人工智能框架的時(shí)候，很多設(shè)計(jì)是帶著學(xué)術(shù)界的影子的。后來我們經(jīng)過那么多年的工業(yè)界和學(xué)術(shù)界的一起錘煉之后，我們發(fā)現(xiàn)新的框架，比如說像Tensorflow、pytorch開始逐漸的來考慮到工業(yè)界的大規(guī)模、彈性、高性能特征。部署的時(shí)候在多種環(huán)境下，在端上，在云上，在手機(jī)端等等的部署環(huán)境成本。

這樣的巨大業(yè)務(wù)體量和業(yè)務(wù)的錘煉給我們開源的社區(qū)提供了很好的反饋和貢獻(xiàn)。從大數(shù)據(jù)和人工智能這幾方面，第一個(gè)剛才提到的流計(jì)算，支撐了我們阿里在雙11這樣的實(shí)時(shí)計(jì)算和分析的場(chǎng)景當(dāng)中非常大的任務(wù)，另外在人工智能這邊，我們有集團(tuán)內(nèi)和云上都有的產(chǎn)品叫做PAI，PAI是基于開源框架做深度優(yōu)化和整合的平臺(tái)。我們?cè)谏厦嫱耆嫒萘薚esorflow跟caffe的語法。同時(shí)，如果需要做模型的分布式懸鏈和部署的時(shí)候，我們可以通過底層的優(yōu)化，比如說通訊庫的優(yōu)化，底層跟CPU、GPU跟體系結(jié)構(gòu)相關(guān)的優(yōu)化等等，來實(shí)現(xiàn)更快的快速訓(xùn)練和更容易的部署。

????從大數(shù)據(jù)來說，今天不光是Flink流計(jì)算，還有傳統(tǒng)的像hadoop，Spark等等這樣的產(chǎn)品。我們?cè)谠粕厦嬗幸粋€(gè)平臺(tái)，可以非常完美的對(duì)接大家在大數(shù)據(jù)場(chǎng)景當(dāng)中所遇到的需要承接開源的計(jì)算模式，可能還需要把自己的技術(shù)架構(gòu)搬到云上來，但是不改變上層的軟件應(yīng)用系統(tǒng)。

????我們還感覺阿里云是賦能商家實(shí)現(xiàn)商業(yè)價(jià)值的平臺(tái)。一個(gè)非常好的例子是ElasticSearch，ElasticSearch有商業(yè)化的公司去做落地，我們跟ElasticSearch有非常好的合作，我們?cè)诎⒗镌苼硖峁┻@樣的產(chǎn)品，來提供企業(yè)級(jí)的服務(wù)，讓我們解決像平臺(tái)、管控、部署等一系列的問題，這樣的模式使得開源的軟件更加的軟件，也使得整個(gè)生態(tài)更加的完整。

????怎么樣把它部署到我們實(shí)際應(yīng)用系統(tǒng)當(dāng)中去？今天我們看到很多企業(yè)的應(yīng)用都逐漸把整合的流程搬到云上，甚至開發(fā)者也遇到這樣的情況。當(dāng)年我們剛開始做AI的時(shí)候，大家買一個(gè)機(jī)器，買一個(gè)GPU放在自己的寢室里面。北方同學(xué)很開心，因?yàn)楸狈綑C(jī)器很熱，南方同學(xué)就很不爽了因?yàn)楹軣帷＿@就是我們提供的價(jià)值，我們今天在云上做開發(fā)非常方便，從企業(yè)角度來說我們?cè)谠粕蠈?shí)現(xiàn)這樣的開發(fā)之后，需要做多個(gè)國際的部署，今年阿里云在國際上面大家可能所需要到的地域都有非常多的資源來幫助大家部署自己的應(yīng)用，部署自己的產(chǎn)品，這樣的云計(jì)算能力加上開源的能力是非常有意思的方向。

????從大數(shù)據(jù)跟人工智能角度來說，我們做什么事情呢？第一我們繼續(xù)擁抱開源的系統(tǒng)，阿里云、阿里集團(tuán)有這樣非常有意思的設(shè)置，基礎(chǔ)團(tuán)隊(duì)同時(shí)支持集團(tuán)內(nèi)部的應(yīng)用和云上的應(yīng)用，這樣有什么好處呢？我們集團(tuán)相當(dāng)于阿里云就是最大的用戶，我們自己做的東西自己在用，在有這么大用戶的情況下，我們可以保證自己技術(shù)和產(chǎn)品是很不錯(cuò)的。

????另外，像Flink這樣一個(gè)項(xiàng)目，進(jìn)一步把我們所有的東西回歸到開源上面來。Flink最開始是由一個(gè)德國團(tuán)隊(duì)開發(fā)的，我們跟他們合并之后做一個(gè)非常大的項(xiàng)目，我們內(nèi)部把blink的項(xiàng)目和blink的社區(qū)來做一個(gè)非常好的整合，把自己做的改編的成本推到社區(qū)當(dāng)中去。在這樣的過程當(dāng)中我們發(fā)現(xiàn)了自己的開發(fā)跟開源社區(qū)的開發(fā)當(dāng)中有一些非常有意思，無論是好的經(jīng)驗(yàn)還是壞的教訓(xùn)，譬如在Flink上面，我們發(fā)現(xiàn)自主開發(fā)的時(shí)候很多時(shí)候是以非常迅速的迭代方式來做的。

從開源共贏的角度來說，我個(gè)人的觀點(diǎn)不一定對(duì)，我發(fā)現(xiàn)今天咱們國內(nèi)的開發(fā)者對(duì)于開源有非常大的熱情，但是如果我們來看底層對(duì)于大家開發(fā)者的支持來說怎么樣來做CI，怎么樣做更好的測(cè)試，怎么樣做更好的代碼托管以及開發(fā)者的社區(qū)交流等等，這一系列的都是像阿里云這樣的公司能夠給大家逐漸的來提供的一些服務(wù)。

我們也希望通過開源這樣的會(huì)議包括開源開發(fā)者的活動(dòng)等等，進(jìn)一步幫助咱們國家和人工智能和開源開發(fā)者社區(qū)更有效的跟大家溝通，把我們整個(gè)開源的技術(shù)再往上提升一個(gè)量級(jí)，這也是我們從技術(shù)角度非常愿意做的事情。

????今天非常感謝有這樣的機(jī)會(huì)能夠給大家齊聚一堂討論開源的事情，今天有很多合作伙伴來向大家介紹大數(shù)據(jù)的項(xiàng)目、人工智能項(xiàng)目，非常感謝大家今天能夠來參加這個(gè)活動(dòng)，謝謝大家。

您也可以關(guān)注我們的官方微信公眾號(hào)（ID：ctoutiao），給您更多好看的內(nèi)容。