By Andy Patrizio? 來源：InfoWorld 幾乎所有的大數據項目都以失敗告終，盡管有各種成熟的技術。以下是如何讓大數據工作真正成功的方法：
大數據項目通常在規模和范圍上都很大，而且非常雄心勃勃，但往往都是徹底的失敗。2016年，Gartner估計有60%的大數據項目失敗。一年后,Gartner分析師Nick Heudecker?說,他的公司是“過于保守的把失敗率估計為60%，事實上接近85%。今天，他說一切都沒有改變。
Gartner并不是唯一這樣認為的公司。長期擔任微軟高管(直到最近)的Snowflake Computing首席執行官鮑勃?穆格里亞(Bob Muglia)告訴分析網站Datanami:“我找不到一個滿意的Hadoop客戶。就是這么簡單。實際上成功馴服Hadoop的客戶數量可能少于20個，甚至可能少于10個。考慮到該產品技術在市場上存在的時間，以及一般資源的投入，這簡直是瘋了。當然，Hadoop是引發大數據熱的引擎。
其他熟悉大數據的人士也表示，這個問題仍然現實、嚴重，但不完全是技術問題。事實上，與真正的內因相比，技術是導致失敗的次要原因。以下是大數據項目失敗的四個關鍵原因，以及你成功的四個關鍵途徑。
大數據問題1:整合性差
Heudecker說，大數據失敗背后有一個主要的技術問題，那就是整合來自多個來源的孤立數據，以獲得公司所需的見解，但是與孤立的舊系統建立連接本就不容易，集成成本是軟件成本的5到10倍。“最大的問題是簡單的集成將如何將多個數據源鏈接在一起以獲得某種結果?”很多人走數據湖的路線，認為如果我把一切都聯系起來，奇跡就會發生。事實并非如此，”他說。
孤立的數據是問題的一部分?？蛻舾嬖V他，他們把數據從記錄系統中提取出來，放到一個類似數據湖的通用環境中，卻搞不清楚這些值的含義。“當你把數據放入數據湖，你怎么知道數字3是什么意思?””Heudecker問道。
普華永道(PwC)高級研究員艾倫?莫里森(Alan Morrison)表示，由于他們是在silo中工作，或者創建只是數據沼澤的數據湖，因此他們只能觸及到自己所能完成的工作的皮毛?！八麄儾焕斫鈹祿械乃嘘P系，這些關系需要被挖掘或推斷出來，并使之顯式，這樣機器才能充分解釋這些數據?！彼麄冃枰獎摻ㄒ粋€知識圖層，以便機器能夠解釋所有映射到底層的實例數據。否則，你只能得到一個數據湖，一個數據沼澤，”他說。
大數據問題之2:目標不明
你可能會認為大多數從事大數據項目的人心里都有一個目標，但令人驚訝的是，很多人沒有。他們只是在事后才啟動這個項目。
“你必須很好地審視問題。人們認為他們可以將結構化和非結構化數據連接起來，從而獲得所需的洞察力。你必須提前很好地定義這個問題。你想要獲得什么樣的洞察力?數據集成軟件公司Talend的產品營銷經理雷·克里斯托弗(Ray Christopher)說。
企業應用咨詢公司(Enterprise Application Consulting)的首席分析師喬舒亞·格林鮑姆(Joshua Greenbaum)表示，困擾大數據和數據倉庫項目的部分原因是，主要的指導標準通常是積累大量數據，而不是解決離散的業務問題。
“如果你把大量的數據放在一起，你會得到一個數據轉儲。我稱之為衛生填埋場。垃圾場不是一個尋找解決方案的好地方。“我總是告訴客戶，先確定需要解決哪些離散業務問題，然后再著手解決，然后查看可用數據的質量，一旦確定了業務問題，就解決數據問題?！?/p>
“為什么大多數大數據項目會失敗?”首先，大多數大數據項目的領導者缺乏遠見，”普華永道的莫里森表示?！捌髽I對大數據感到困惑。大多數只考慮數字數據或黑盒NLP和識別引擎，它們做簡單的文本挖掘和其他類型的模式識別。”
大數據問題3:技能差距
很多時候，公司認為他們為數據倉庫建立的內部技能將轉化為大數據，但事實顯然并非如此。首先，數據倉庫和大數據以完全相反的方式處理數據:數據倉庫采用寫模式，這意味著數據在進入數據倉庫之前就被清理、處理、結構化和組織。
在大數據中，數據是累積的，讀取時應用模式，讀取時處理數據。因此，如果數據處理從一種方法倒退到另一種方法，您可以打賭技能和工具也是如此。這只是一個例子。
“技能永遠是一個挑戰。如果我們談論的是30年后的大數據，仍然會面臨挑戰，”Heudecker說?！昂芏嗳税阉麄兊拿弊訏煸贖adoop上。我的客戶在尋找Hadoop資源時遇到了挑戰。Spark更好一些，因為棧更小，更容易訓練。Hadoop是幾十個軟件組件?！?/p>
大數據問題4:技術代溝
大數據項目經常從舊的數據筒倉中提取數據，并試圖將它們與新的數據源合并，比如傳感器、網絡流量或社交媒體。這并不完全是企業的錯，他們在大數據分析出現之前就收集了這些數據，但這仍然是一個問題。
格林鮑姆說:“幾乎最大的技能缺失是如何將這兩個利益相關者融合起來，讓他們共同努力解決復雜的問題?！薄皵祿Q井可能成為大數據項目的障礙，因為沒有任何標準。因此，當他們開始考慮規劃時，他們發現這些系統沒有以任何方式實現，這些數據沒有得到重用?！?/p>
“對于不同的架構，你需要做不同的處理，”Talend的Christopher說?！凹夹g技能和架構的差異是你不能將現有的工具用于本地數據倉庫并將其與大數據項目集成的一個常見原因——因為這些技術處理新數據的成本太高了?！彼阅阈枰氖恰鹦羌彝ァ?，你需要學習新的語言?！?/p>
大數據解決方案1:提前計劃
這是一個老生常談的話題，但在這里是適用的:如果你計劃失敗了，那就計劃失敗吧。高德納的Heudecker說:“成功的公司是那些有結果的公司。”選擇一些小的、可實現的、新的事情。不要接受遺留用例，因為您會受到限制?！?/p>
“他們需要首先考慮數據，并以機器可讀的方式為他們的組織建模，以便數據為組織服務，”普華永道的莫里森說。
大數據解決方案2:協同工作
通常情況下，利益相關者被排除在大數據項目之外，而正是這些人會利用這些結果。Heudecker說，如果所有的利益相關者合作，他們可以克服許多障礙。他表示:“如果有技能的人一起工作，并與業務部門合作，提供可操作的結果，那將有所幫助?！?/p>
Heudecker指出，在大數據領域取得成功的公司在必要的技能上投入了大量資金。他在數據驅動型公司(如金融服務公司、優步(Uber)、Lyft和Netflix)身上看到了最明顯的這一點。
“讓它成為一項團隊運動，幫助管理和收集數據，凈化它。這樣做也可以提高數據的完整性。
大數據解決方案3:聚焦
人們似乎有這樣一種心態，即大數據項目需要規模龐大且雄心勃勃。就像你第一次學習的東西一樣，成功最好的方法是從小事開始，然后逐漸擴大自己的野心和范圍。
“他們應該非常狹隘地定義他們在做什么，”Heudecker說。“他們應該選擇一個有問題的領域，并擁有它，比如欺詐檢測、細分客戶，或者弄清楚在千禧一代的市場上應該推出什么新產品?！?/p>
“在一天結束的時候，你必須詢問你想要的洞察力或者將業務流程數字化，”Christopher說。“你不只是把技術用于解決商業問題;你必須預先定義它。數據湖是必要的，但如果數據不會被商業上的任何人使用，你就不想收集數據?！?/p>
在很多情況下，這也意味著不要讓自己的公司過度膨脹?！霸谖已芯窟^的所有公司中，只有幾百個關鍵概念和關系是整個企業賴以運行的。一旦你理解了這一點，你就會意識到，這數百萬個區別只不過是這幾百件重要事情的微小變化。”事實上，你會發現許多細微的變化根本不是變化。它們其實是一樣的東西，只是名字不同，結構不同，或者標簽不同?！?/p>
大數據解決方案4:拋棄傳統
雖然您可能希望使用收集并存儲在數據倉庫中的那些tb級的數據，但事實是，如果您只關注為大數據設計的存儲系統中新收集的數據，并將其設計為無豎井存儲，那么您可能會得到更好的服務。
“我絕對建議，不要僅僅因為你的公司是現有技術基礎設施的許可證，就一定要感激它，”咨詢師Greenbaum說。通常，新的復雜問題可能需要新的復雜解決方案?；氐焦镜呐f工具上工作十年不是正確的方法。許多公司使用舊的工具，這會扼殺項目。”
Morrison 指出:“企業需要停止糾纏于自己的內衣，而應該拋棄創造更多筒倉的傳統架構。他還說，他們需要停止期望供應商為他們解決復雜的系統問題。幾十年來，許多人似乎認為他們可以通過購買來解決大數據問題。任何大數據問題都是系統性問題。當涉及到任何復雜的系統變化時，你必須想辦法解決，”他說。
