eBay，這家在國(guó)內(nèi)非常低調(diào)的老牌電商，以其深厚的技術(shù)基礎(chǔ)在業(yè)內(nèi)廣受關(guān)注。熟悉 Kylin 的朋友也都知道，Kylin 項(xiàng)目最初也正是在 eBay 內(nèi)部孵化并完成。eBay 全球研發(fā)副總裁、中國(guó)研發(fā)中心總經(jīng)理田衛(wèi)女士的主旨演講，主題是：增強(qiáng)分析在 eBay 的實(shí)踐。
增強(qiáng)分析
Gartner 在今年 2 月的數(shù)據(jù)分析峰會(huì)上提出了十項(xiàng)數(shù)據(jù)發(fā)展的趨勢(shì)，其中“增強(qiáng)分析 Augmented Analytics ”被列在第一條, 被 Gartner 譽(yù)為“數(shù)據(jù)和分析的未來(lái)”。
在數(shù)據(jù)可以被分析前，數(shù)據(jù)工程師需要對(duì)數(shù)據(jù)進(jìn)行抽取、清洗、融合等準(zhǔn)備工作，以提高數(shù)據(jù)分析的效率和準(zhǔn)確性。增強(qiáng)分析 Augmented Analytics 能夠幫助普通用戶在沒(méi)有數(shù)據(jù)科學(xué)專家或 IT 人員協(xié)助的情況下，訪問(wèn)有效數(shù)據(jù)，并對(duì)理論和假設(shè)情況展開(kāi)測(cè)試與驗(yàn)證。增強(qiáng)分析作為數(shù)據(jù)分析的高級(jí)增強(qiáng)階段，能為分析計(jì)劃帶來(lái)更多自動(dòng)化動(dòng)能以及創(chuàng)新洞察力。(點(diǎn)擊此處，查看 Gartner 對(duì)于增強(qiáng)分析的解讀)
?
?
田衛(wèi)，eBay 全球研發(fā)副總裁、中國(guó)研發(fā)中心總經(jīng)理
eBay 的大數(shù)據(jù)歷程
eBay 始于 1994 年，由 eBay 公司發(fā)展歷史我們也可以窺見(jiàn)整個(gè)電商行業(yè)的演變。
eBay 保存了世界上第一筆電商交易數(shù)據(jù)，一直發(fā)展到今天，整個(gè)世界電商的發(fā)展史都能在 eBay 找到它的痕跡。此外，eBay 橫跨了全世界 180 多個(gè)國(guó)家，eBay 的數(shù)據(jù)不僅僅局限于某一個(gè)地區(qū)、市場(chǎng)，是包括北美、歐洲、亞太，整個(gè)一條完整的數(shù)據(jù)鏈。
?
?
通過(guò)上圖，我們可以對(duì) eBay 的大數(shù)據(jù)平臺(tái)有一個(gè)快速的了解。eBay 現(xiàn)在處理的數(shù)據(jù)量涵蓋 700PB 數(shù)據(jù)， 每天查詢量在 120 萬(wàn)左右，這對(duì) eBay 大數(shù)據(jù)系統(tǒng)有著很高的要求。
目前參與這個(gè)系統(tǒng)的數(shù)據(jù)工程師有 6 千余人。Gartner 一份報(bào)告顯示，在高科技公司內(nèi)，使用數(shù)據(jù)來(lái)驅(qū)動(dòng)業(yè)務(wù)增長(zhǎng)的人數(shù)占 32 % 的人。反過(guò)來(lái)看 68% 的人還沒(méi)有真正應(yīng)用數(shù)據(jù)，eBay 現(xiàn)在 1 萬(wàn) 4 千人，整個(gè)應(yīng)用數(shù)據(jù)的人大概達(dá)到將近 40% 左右。這個(gè)數(shù)據(jù)也不是一蹴而就的，在 2015 年時(shí)，大概只有 200 個(gè)數(shù)據(jù)工程師和數(shù)據(jù)分析師在應(yīng)用數(shù)據(jù);隨著增強(qiáng)型數(shù)據(jù)平臺(tái)的推出，用戶人數(shù)有了大幅增長(zhǎng)。
?
?
eBay 的大數(shù)據(jù)生態(tài)，以 Data Fabric 為核心。支持以 API 為基礎(chǔ)的數(shù)據(jù)服務(wù)。
?
?
eBay 的大數(shù)據(jù)演進(jìn)之路
從上圖可以看到，2005 年 eBay 的數(shù)據(jù)平臺(tái)主要是基于 SQL，record report 系統(tǒng)。到 2010 年，轉(zhuǎn)向了 Visual Based Discovery 階段。2015 年開(kāi)始， eBay 從 Teradata 向 Hadoop 大數(shù)據(jù)平臺(tái)的遷移，Real-time Streaming 也在那一年出現(xiàn)，進(jìn)入了一個(gè)更為高級(jí)的 Visual Based Discovery 階段。2018 年，eBay 大面積開(kāi)始應(yīng)用 Hadoop、Spark;以及基于會(huì)話式的、NLU 等增強(qiáng)式數(shù)據(jù)分析解決方案。這其中還包括圖譜的元數(shù)據(jù)管理系統(tǒng)，以及自動(dòng)商業(yè)洞察等新技術(shù)， eBay 從 2018 年開(kāi)始真正意義上向增強(qiáng)分析邁進(jìn)了一步。
?
?
客戶角度的演變
從客戶角度看 eBay 大數(shù)據(jù)的演進(jìn)，最早是專職的數(shù)據(jù)分析師，現(xiàn)在隨著增強(qiáng)分析平臺(tái)推出，可以延展到每一位 eBay 的員工。即使用戶不了解數(shù)據(jù)在什么地方，不了解整個(gè)數(shù)據(jù)背后復(fù)雜業(yè)務(wù)邏輯，也能夠非常簡(jiǎn)便地去做一些基本數(shù)據(jù)分析和查詢。
從商業(yè)決策的流程來(lái)看，從過(guò)去靜態(tài)的商業(yè)決策，提前通過(guò)一些 SQL、dashboard，延展到現(xiàn)在是一個(gè)動(dòng)態(tài)的 data dashboard。以前公司領(lǐng)導(dǎo)們?cè)谧錾虡I(yè)討論和決策時(shí)，都是由分析師拿一些數(shù)據(jù)報(bào)表，現(xiàn)在直接通過(guò) eBay 的增強(qiáng)數(shù)據(jù)平臺(tái)，能夠直接通過(guò)實(shí)時(shí) dashboard，快速地進(jìn)行商業(yè)決策。
數(shù)據(jù)邏輯非常復(fù)雜，而且數(shù)據(jù)本身也是孤立的，eBay 現(xiàn)在通過(guò) data fabric, 把一個(gè)從單個(gè)部門(mén)孤立的分析視角延展到不同的部門(mén)，不同業(yè)務(wù)之間，能夠大家共同協(xié)作完成一個(gè)商業(yè)的決定。這是從客戶層面我們看到的一個(gè)進(jìn)化，從過(guò)去一小部分的核心決策人，延展到每一個(gè)人都在使用數(shù)據(jù)進(jìn)行分析，以及通過(guò)數(shù)據(jù)來(lái)輔助商業(yè)決策的用戶。
產(chǎn)品角度的演變
從產(chǎn)品層面，eBay 以前依賴于 Teradata，現(xiàn)在發(fā)展到了一個(gè)自研的基于開(kāi)源的一整套解決方案。從使用到的技術(shù)上來(lái)講，非常契合 Gartner 的預(yù)測(cè)，有 Data Fabric，智能化數(shù)據(jù)運(yùn)維、Ad-hoc OLAP 查詢;以及基于 NLP，機(jī)器學(xué)習(xí)等技術(shù)的對(duì)話式的交互分析。還有 open metadata, 這是整個(gè)大數(shù)據(jù)智能化很重要很重要的一個(gè)核心。eBay 做了一個(gè) open metadata framework 去賦能大數(shù)據(jù)的演進(jìn)。
?
?
上圖是 Gartner 在 2019 年提出的十個(gè)大數(shù)據(jù)領(lǐng)域的趨勢(shì)，eBay 中國(guó)研發(fā)中心已經(jīng)在標(biāo)黃色的五個(gè)方面取得了顯著的成績(jī)。eBay 的技術(shù)人員會(huì)繼前行，通過(guò)實(shí)時(shí)分析，與業(yè)務(wù)部門(mén)的深度整合，為 eBay 業(yè)務(wù)部門(mén)提供實(shí)時(shí)、自動(dòng)化的，可以進(jìn)一步提升業(yè)務(wù)能力的建議。
?
?
eBay 數(shù)據(jù)分析生態(tài)
iDo
從數(shù)據(jù)管理這個(gè)角度來(lái)看，eBay 有一套完整的 intelligent data operation, iDo，它能夠自動(dòng)化地計(jì)劃、部署所有的作業(yè)，然后自動(dòng)化進(jìn)行監(jiān)測(cè)。當(dāng)有一些作業(yè)發(fā)生問(wèn)題的時(shí)候，可以進(jìn)行自動(dòng)修復(fù)。Gartner 預(yù)測(cè)到 2020 年，增強(qiáng)技術(shù)可以降低大概 45% 數(shù)據(jù)運(yùn)維人員和數(shù)據(jù) IT 人員的投入。在 eBay 當(dāng)這個(gè) iDo 產(chǎn)品推出以后，eBay 數(shù)據(jù)運(yùn)維人員減少了 60%。
Open Metadata
這是一個(gè)跨平臺(tái)，跨領(lǐng)域的平臺(tái)。可以支持 Teradata， Hadoop，以及其他不同的數(shù)據(jù)源;能夠做自動(dòng)發(fā)現(xiàn)，同時(shí)通過(guò)圖譜把不同數(shù)據(jù)之間的關(guān)系、血緣，以及業(yè)務(wù)邏輯，數(shù)據(jù)邏輯整合起來(lái)。
Zeta
這個(gè)平臺(tái)相當(dāng)于數(shù)據(jù)開(kāi)發(fā)工程師的集成開(kāi)發(fā)環(huán)境 IDE，它面向所有的數(shù)據(jù)開(kāi)發(fā)工程師，當(dāng)數(shù)據(jù)工程師需要開(kāi)發(fā)一個(gè)數(shù)據(jù)產(chǎn)品時(shí)，這個(gè)平臺(tái)能夠幫助工程師有效地構(gòu)建、部署以及調(diào)度作業(yè)，并幫助數(shù)據(jù)工程師進(jìn)行調(diào)優(yōu);平臺(tái)也可以自動(dòng)分析用戶的 SQL，幫助用戶診斷其性能瓶頸在什么地方，很方便地幫助用戶進(jìn)行 debug 和調(diào)優(yōu)，以及一鍵式發(fā)布;同時(shí)還可幫助數(shù)據(jù)科學(xué)家在這個(gè)平臺(tái)進(jìn)行 ad-hoc 的查詢和基本的分析工作。
MMD
MMD, Moving Metrics Detection，這個(gè)平臺(tái)通過(guò)無(wú)監(jiān)督機(jī)器學(xué)習(xí)，去發(fā)現(xiàn)數(shù)據(jù)的 pattern，在哪些地方有瓶頸，然后還可以自動(dòng)地預(yù)測(cè)數(shù)據(jù) pattern 有可能發(fā)生的一些趨勢(shì)變化，重新找到它的 change point，在新的 pattern 下面再進(jìn)行進(jìn)一步發(fā)現(xiàn)。
GRO
Global Retail Automation，它是通過(guò)機(jī)器學(xué)習(xí)理解市場(chǎng)趨勢(shì)以及幫助銷(xiāo)售人員有效地做他們的庫(kù)存的管理。做這種定位的管理，能夠更好地幫助他們驅(qū)動(dòng)他們?cè)?eBay 上的業(yè)務(wù)增長(zhǎng)。
Nous
Nous 是 eBay 的增強(qiáng)分析產(chǎn)品的代表之一，背后是基于 bot 的技術(shù)，用戶可以跟它進(jìn)行交互式的數(shù)據(jù)查詢和報(bào)表分析。這個(gè)產(chǎn)品體現(xiàn)了三個(gè)核心價(jià)值：
容易，任何一個(gè)人可以容易到像在谷歌上搜索一個(gè)普通的關(guān)鍵詞一樣，去搜索要做的數(shù)據(jù)分析，或者感興趣的一些商業(yè)上的點(diǎn)。
智能，它取代了傳統(tǒng)報(bào)表，不但能夠產(chǎn)生報(bào)表，還可做一些具體定位的分析，可能是因?yàn)槭裁丛蛟斐闪爽F(xiàn)在數(shù)據(jù)上的一些偏差。
快，無(wú)論后臺(tái)是使用 Teradata 還是用 Hadoop，能夠?qū)崿F(xiàn)非常快非常及時(shí)的數(shù)據(jù)分析的結(jié)果。
?
?
NOUS - 操作簡(jiǎn)便的查詢
?
?
iBot- 對(duì)話式查看數(shù)據(jù)
eBay 在增強(qiáng)分析數(shù)據(jù)上剛剛邁了第一步，未來(lái)還會(huì)繼續(xù)不斷地加快在增強(qiáng)型數(shù)據(jù)分析和數(shù)據(jù)管理上步伐;eBay 中國(guó)研發(fā)中心也期待能進(jìn)一步跟業(yè)務(wù)部門(mén)集成在一起，為業(yè)務(wù)部門(mén)提供更加實(shí)時(shí)、便捷的分析服務(wù)，助力 eBay 創(chuàng)造更多經(jīng)濟(jì)價(jià)值;同時(shí) eBay 將秉承一貫作風(fēng)，把好的技術(shù)、實(shí)踐、產(chǎn)品貢獻(xiàn)到開(kāi)源社區(qū)，帶動(dòng)整個(gè)大數(shù)據(jù)業(yè)界的發(fā)展。
