Apache Hadoop出現(xiàn)在IT領(lǐng)域是在2006年，它可以支持使用廉價的商用硬件來存儲海量數(shù)據(jù)。從某種意義上來說，Hadoop幫助我們迎來了大數(shù)據(jù)時代。希望越高，期待也越大。企業(yè)可以在稱之為數(shù)據(jù)湖的基于Hadoop的存儲中存儲盡可能多的數(shù)據(jù)，并進行后續(xù)的分析。這些數(shù)據(jù)湖伴隨著一系列的獨立的開源計算引擎，并且基于此開源即意味著免費。那么會可能出現(xiàn)什么錯誤?

Monte Zweben，Splice Machine的CEO，對Hadoop將要發(fā)生的事情有一個有趣的看法，特別是對其垮臺背后的三個主要原因：

模式讀是一個錯誤

首先，所謂Hadoop的最佳功能竟是它的致命缺點。隨著寫模式限制的解除，TB級的數(shù)據(jù)結(jié)構(gòu)化或非結(jié)構(gòu)化的數(shù)據(jù)寫入到數(shù)據(jù)湖中。由于Hadoop的數(shù)據(jù)治理框架和功能仍在設(shè)計，企業(yè)越來越難以確定其數(shù)據(jù)的血緣關(guān)系，導(dǎo)致它們對自己的數(shù)據(jù)失去信任，數(shù)據(jù)湖變成了數(shù)據(jù)沼澤。

Hadoop的復(fù)雜性和管道式的計算引擎

其次，Hadoop發(fā)行版中提供了一些列的開源計算引擎，例如Apache Hive，Apache Spark，Apache Kafka。這些計算引擎操作起來很復(fù)雜，需要專門的技術(shù)才能把這些技術(shù)串聯(lián)起來，但比較困難。

錯誤的焦點 - 數(shù)據(jù)湖與應(yīng)用程序

第三點也是最重要一點，數(shù)據(jù)湖項目開始失敗,因為Hadoop集群往往成為企業(yè)數(shù)據(jù)流管道(過濾，處理，傳輸)的gateway，然后數(shù)據(jù)會轉(zhuǎn)出到數(shù)據(jù)庫和數(shù)據(jù)集市用于下游匯報，并且?guī)缀鯊奈丛谄髽I(yè)中找到真正的業(yè)務(wù)應(yīng)用程序。結(jié)果，數(shù)據(jù)湖最終成為一組龐大的不同計算引擎，在不同的工作負載上運行，所有這些引擎共享相同的存儲。這些很難進行管理。生態(tài)系統(tǒng)中的資源隔離和管理工具正在不斷完善，但仍有很長的路要走。企業(yè)無法將注意力從使用數(shù)據(jù)湖作為廉價的數(shù)據(jù)存儲庫轉(zhuǎn)移到使用數(shù)據(jù)和支持關(guān)鍵任務(wù)應(yīng)用程序的平臺。

許多組織都關(guān)注Hadoop生態(tài)系統(tǒng)的最新發(fā)展，并承受著展示數(shù)據(jù)湖價值的壓力。對于企業(yè)來說，至關(guān)重要的是確定如何在Hadoop失敗后成功地實現(xiàn)應(yīng)用程序的現(xiàn)代化，以及實現(xiàn)這一目標的最佳策略。Hadoop曾經(jīng)是最被炒作的技術(shù)，如今屬于人工智能。當(dāng)心炒作周期，有一天你可能不得不為它的影響負責(zé)。

作者:余根茂，阿里巴巴計算平臺事業(yè)部EMR團隊的技術(shù)專家，參與了Hadoop，Spark，Kafka等開源項目的研發(fā)工作。目前主要專注于EMR流式計算產(chǎn)品的研發(fā)工作

原文鏈接：

https://insidebigdata.com/2019/08/10/what-happened-to-hadoop-and-where-do-we-go-from-here/