到 2018年 全球大數(shù)據(jù)方面的開支將達(dá) 1140 億美元，是 5年 前的 3 倍；到 2020年 全球大數(shù)據(jù)規(guī)模將達(dá) 44ZB（澤字節(jié)），是 2013年 的 10 倍。下一波大數(shù)據(jù)浪潮即將來襲，但是并沒有多少組織為此做好準(zhǔn)備。如果應(yīng)對(duì)措施不當(dāng)，你可能就不是弄潮的那個(gè)，而是被浪尖打翻的那個(gè)。如何為駕馭大數(shù)據(jù)做好準(zhǔn)備呢？請(qǐng)看 Crewspark CEO Cameron Sim 的文章。

1140 億美元。這是 2018年 全球組織在大數(shù)據(jù)方面的開銷，僅僅 5年 的時(shí)間就增長了 300%以上。但是這些投入有多少是值得的呢？

過去 10年，我們目睹了大數(shù)據(jù)管理新方法的廣泛應(yīng)用，如 MapReduce、供大規(guī)模存儲(chǔ)使用的非模式化數(shù)據(jù)庫，以及用于存儲(chǔ)和處理的 Hadoop、Storm 和 Spark 等。但是大數(shù)據(jù)的使用不僅僅是特定平臺(tái)或范例的部署而已： 通常這意味著公司對(duì)數(shù)據(jù)的建構(gòu)和組織進(jìn)行徹底的重新設(shè)計(jì)。

但據(jù)調(diào)查發(fā)現(xiàn)，目前還沒有多少組織為新的數(shù)據(jù)平臺(tái)和能力做好基本準(zhǔn)備。只有 35%的組織擁有了 “健壯的數(shù)據(jù)捕捉、管理、驗(yàn)證及保存流程”，更有 67%“缺乏衡量定義明確的大數(shù)據(jù)行動(dòng)成功的標(biāo)準(zhǔn)?！?那些大數(shù)據(jù)解決方案基本都是被動(dòng)集成進(jìn)來的。

但時(shí)間可不等人，根據(jù) 2014年IDC 的報(bào)告，到 2020年，全球的數(shù)據(jù)總量將達(dá) 44ZB，整整是 2013年 的 10 倍。面對(duì)著下一波的數(shù)據(jù)大爆發(fā)，那些未做好準(zhǔn)備的公司將可能就會(huì)有背負(fù)運(yùn)營和技術(shù)雙重債務(wù)的風(fēng)險(xiǎn)，并因數(shù)據(jù)落后而被淘汰出局。

具體而言，這些風(fēng)險(xiǎn)體現(xiàn)在以下幾個(gè)方面：

企業(yè)喪失透明度

業(yè)界將面臨大規(guī)模的技能短缺問題——很少有 IT 專業(yè)人士有經(jīng)驗(yàn)管理大規(guī)模的大數(shù)據(jù)平臺(tái)。根據(jù)麥肯錫的分析，到 2018年，美國將出現(xiàn) 150 萬名有能力做出基于數(shù)據(jù)決策的經(jīng)理。為了縮短這一鴻溝，麥肯錫估計(jì)企業(yè)將需要把數(shù)據(jù)和分析預(yù)算的 50%投入到一線經(jīng)理的培訓(xùn)上面。但是還沒有多少公司意識(shí)到這一點(diǎn)。

隨著數(shù)據(jù)需求的擴(kuò)大，如果對(duì)信息管理缺乏深刻理解，對(duì)數(shù)據(jù)擴(kuò)展性缺乏最佳實(shí)踐，那么在管理數(shù)據(jù)驅(qū)動(dòng)的系統(tǒng)時(shí)就會(huì)遭遇到重大挑戰(zhàn)。而糟糕的運(yùn)營透明度會(huì)導(dǎo)致企業(yè)很難識(shí)別出數(shù)據(jù)何時(shí)不準(zhǔn)確和無意義，甚至連關(guān)鍵報(bào)表和指標(biāo)是否正確運(yùn)行都不知道。理清這些錯(cuò)綜復(fù)雜并對(duì)數(shù)據(jù)提出正確的問題將成為 IT 人員的必備技能。否則就會(huì)缺乏對(duì)企業(yè)運(yùn)營的可視性，無法有效做出知情決策并削弱企業(yè)的競爭優(yōu)勢(shì)。

人工成本飆升

據(jù)估計(jì) 2014年 時(shí)數(shù)據(jù)科學(xué)家 50-80%的工作時(shí)間花在了數(shù)據(jù)集清理和處理上。近期公司往往傾向把數(shù)據(jù)準(zhǔn)備工作的自動(dòng)化外包給離岸或近岸的數(shù)據(jù)專家。對(duì) CloudFactory、MobileWorks 及 Samasource 這類微工作平臺(tái)的需求已經(jīng)爆發(fā)，據(jù)估計(jì)，到 2018年 這類業(yè)務(wù)的規(guī)模將達(dá)到 50 億美元。

但是外包無法規(guī)模滿足需求。鑒于未來的數(shù)據(jù)量將達(dá)到 44ZB，數(shù)據(jù)的這種快速增長會(huì)需要成千上萬具備長期可行的解決方案的離岸或近岸外包團(tuán)隊(duì)。而任何可持續(xù)的解決方案都離不開顯著的自動(dòng)化。

通信障礙

現(xiàn)在企業(yè)間的交互依靠的是經(jīng)過組織的數(shù)據(jù)，但與未來 20年 發(fā)生的事情相比，這種組織數(shù)據(jù)的過程將會(huì)顯得蒼白無力。未來將會(huì)出現(xiàn)新的企業(yè)數(shù)據(jù)網(wǎng)絡(luò)標(biāo)準(zhǔn)以及相應(yīng)的算法和元數(shù)據(jù)。未能參與到這一全球數(shù)據(jù)市場的公司將無法利用市面上銷售的這些數(shù)據(jù)產(chǎn)品。

全球各個(gè)領(lǐng)域都在發(fā)生這種朝著大規(guī)模商業(yè)數(shù)據(jù)共享的演變。比方說，在要求第三方驗(yàn)證其研究的壓力之下，像葛蘭素史克這樣的藥企最近都擬定了更廣泛共享實(shí)驗(yàn)數(shù)據(jù)的計(jì)劃。奧巴馬總統(tǒng)已經(jīng)要求技術(shù)公司共享潛在黑客威脅的數(shù)據(jù)。Forrester 最近的一項(xiàng)研究預(yù)測(cè)，數(shù)據(jù)服務(wù)將成為 2015年 的主流產(chǎn)品。按照這種節(jié)奏，10年 后大數(shù)據(jù)的有效使用不僅會(huì)成為市場致勝的關(guān)鍵，而且還是參與市場的先決條件。

這些風(fēng)險(xiǎn)就像一個(gè)個(gè)大數(shù)據(jù)的定時(shí)炸彈，對(duì)你構(gòu)成嚴(yán)峻挑戰(zhàn)。不過如果你采取下面的三個(gè)步驟，危險(xiǎn)也許就可以解除。

1、不要走一步看一步

為了確保未來的分析能力，企業(yè)必須現(xiàn)在就開始投資一個(gè)能夠快速有效管理新數(shù)據(jù)集的平臺(tái)。應(yīng)該考慮業(yè)務(wù)未來在數(shù)據(jù)攝入與聯(lián)合方面如何運(yùn)作，如何從傳統(tǒng)的系統(tǒng)過渡到端到端的自動(dòng)化的數(shù)據(jù)與分析。

其核心是這個(gè)平臺(tái)要能夠有目的地、小心地、透明地?cái)U(kuò)充，而不是光收集數(shù)據(jù)，但對(duì)這些數(shù)據(jù)使用卻沒有明確的目的，或者在數(shù)據(jù)的解析上不做投入。

2、再痛也要重建舊數(shù)據(jù)應(yīng)用架構(gòu)

許多公司過度依賴維護(hù)開銷很高的舊系統(tǒng)，導(dǎo)致升級(jí)或作出戰(zhàn)略變革的優(yōu)先性被貶低。甚至一些大公司也是如此，比方說三星的 SmartHub TV 是跑在云上面的，但是因?yàn)轭櫦蛇w移成本，其所有的金融交易仍在本地處理。

其結(jié)果就是在許多組織里面數(shù)據(jù)形成了一個(gè)個(gè)以部門為單位的煙囪。某些數(shù)據(jù)，比方說社交媒體方面的信息，甚至還保存在公司以外，這又增加了一層復(fù)雜性。要想大數(shù)據(jù)創(chuàng)新，企業(yè)必須以提高跨部門運(yùn)營透明度為焦點(diǎn)對(duì)舊的數(shù)據(jù)應(yīng)用進(jìn)行翻新。

3、模塊化、多顆粒度的數(shù)據(jù)管理

要把裸數(shù)據(jù)和洞察數(shù)據(jù)塑造成模塊化、組織得當(dāng)、具備各種顆粒度的實(shí)體，這一步做得越深入，越能夠有效的利用商業(yè)洞察，同時(shí)還能在永遠(yuǎn)變化的大數(shù)據(jù)形勢(shì)中保持敏捷的反應(yīng)力。

大數(shù)據(jù)概念股：東方國信、易華錄、拓爾思、銀之杰、東方網(wǎng)力、天璣科技、科華恒盛、宜通世紀(jì)、榮之聯(lián)、紫光股份、海蘭信、創(chuàng)意信息。