科技專(zhuān)論
根據(jù)有關(guān)學(xué)者的研究,數(shù)據(jù)密集型科學(xué)將成為繼實(shí)驗(yàn)科學(xué)、理論科學(xué)、計(jì)算機(jī)科學(xué)之后,人類(lèi)科學(xué)研究的第四個(gè)范式。以大數(shù)據(jù)為代表的數(shù)據(jù)密集型科學(xué)將成為新一次技術(shù)變革的基石。隨著數(shù)據(jù)的進(jìn)一步集中和數(shù)據(jù)量的增大,對(duì)海量數(shù)據(jù)進(jìn)行安全防護(hù)變得更加困難,數(shù)據(jù)的分布式處理也加大了數(shù)據(jù)泄露的風(fēng)險(xiǎn),信息安全正成為制約大數(shù)據(jù)技術(shù)發(fā)展的瓶頸。
大數(shù)據(jù)時(shí)代已經(jīng)到來(lái)
物聯(lián)網(wǎng)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)等新技術(shù)的發(fā)展,使得手機(jī)、平板電腦、PC及遍布地球各個(gè)角落的傳感器,成為數(shù)據(jù)來(lái)源和承載方式。據(jù)估計(jì),互聯(lián)網(wǎng)上的數(shù)據(jù)量每?jī)赡陼?huì)翻一番,到2013年,互聯(lián)網(wǎng)上的數(shù)據(jù)量將達(dá)到每年667EB(1EB=230GB)。這些數(shù)據(jù)絕大多數(shù)是“非結(jié)構(gòu)化數(shù)據(jù)”,通常不能為傳統(tǒng)的數(shù)據(jù)庫(kù)所用,但這些龐大的數(shù)據(jù)“寶藏”將成為“未來(lái)的新石油”。
1.大數(shù)據(jù)具有四個(gè)典型特征
大數(shù)據(jù)(Big Data)是指“無(wú)法用現(xiàn)有的軟件工具提取、存儲(chǔ)、搜索、共享、分析和處理的海量的、復(fù)雜的數(shù)據(jù)集合”。業(yè)界通常用四個(gè)V來(lái)概括大數(shù)據(jù)的特征。
——數(shù)據(jù)體量巨大(Volume)。到目前為止,人類(lèi)生產(chǎn)的所有印刷材料的數(shù)據(jù)量是200PB(1PB=210TB),而歷史上全人類(lèi)說(shuō)過(guò)的所有的話的數(shù)據(jù)量大約5EB(1EB=210PB)。當(dāng)前,典型個(gè)人計(jì)算機(jī)硬盤(pán)的容量為T(mén)B量級(jí),而一些大企業(yè)的數(shù)據(jù)量已經(jīng)接近EB量級(jí)。
——數(shù)據(jù)類(lèi)型繁多(Variety)。這種類(lèi)型的多樣性也讓數(shù)據(jù)被分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。相對(duì)于以往便于存儲(chǔ)的以文本為主的結(jié)構(gòu)化數(shù)據(jù),非結(jié)構(gòu)化數(shù)據(jù)越來(lái)越多,包括網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等,這些多類(lèi)型的數(shù)據(jù)對(duì)數(shù)據(jù)的處理能力提出了更高要求。
——價(jià)值密度低(Value)。價(jià)值密度的高低與數(shù)據(jù)總量的大小成反比。以視頻為例,一部1小時(shí)的視頻,在連續(xù)不間斷的監(jiān)控中,有用數(shù)據(jù)可能僅有一兩秒。如何通過(guò)強(qiáng)大的機(jī)器算法更迅速地完成數(shù)據(jù)的價(jià)值“提純”,成為目前大數(shù)據(jù)背景下亟待解決的難題。
——處理速度快(Velocity)。這是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)挖掘的最顯著特征。根據(jù)IDC的“數(shù)字宇宙”報(bào)告,預(yù)計(jì)到2020年,全球數(shù)據(jù)使用量將達(dá)到35.2ZB(1ZB=210EB)。在如此海量的數(shù)據(jù)面前,處理數(shù)據(jù)的效率就是企業(yè)的生命。
2.大數(shù)據(jù)成為國(guó)家和企業(yè)的核心資產(chǎn)
2012年瑞士達(dá)沃斯論壇上發(fā)布的《大數(shù)據(jù)大影響》報(bào)告稱,數(shù)據(jù)已成為一種新的經(jīng)濟(jì)資產(chǎn)類(lèi)別,就像貨幣或黃金一樣。奧巴馬政府已把“大數(shù)據(jù)”上升到國(guó)家戰(zhàn)略層面,2012年3月,美國(guó)宣布投資2億美元啟動(dòng)“大數(shù)據(jù)研究和發(fā)展計(jì)劃”,借以增強(qiáng)收集海量數(shù)據(jù)、分析萃取信息的能力。美國(guó)政府認(rèn)為,大數(shù)據(jù)是“未來(lái)的新石油”,一個(gè)國(guó)家擁有數(shù)據(jù)的規(guī)模、活性及解釋運(yùn)用的能力將成為綜合國(guó)力的重要組成部分,未來(lái)對(duì)數(shù)據(jù)的占有和控制甚至將成為繼陸權(quán)、海權(quán)、空權(quán)之外國(guó)家的另一個(gè)核心資產(chǎn)。
對(duì)企業(yè)來(lái)說(shuō),數(shù)據(jù)正在取代人才成為企業(yè)的核心競(jìng)爭(zhēng)力。在大數(shù)據(jù)時(shí)代,數(shù)據(jù)資產(chǎn)取代人才成為企業(yè)智商最重要的載體。這些能夠被企業(yè)隨時(shí)獲取的數(shù)據(jù),可以幫助和指導(dǎo)企業(yè)對(duì)全業(yè)務(wù)流程進(jìn)行有效運(yùn)營(yíng)和優(yōu)化,幫助企業(yè)做出最明智的決策。此時(shí),企業(yè)智商的基礎(chǔ)就是形形色色的數(shù)據(jù)。
大數(shù)據(jù)在重新定義企業(yè)智商的同時(shí),對(duì)企業(yè)核心資產(chǎn)也進(jìn)行了重塑,數(shù)據(jù)資產(chǎn)當(dāng)仁不讓地成為現(xiàn)代商業(yè)社會(huì)的核心競(jìng)爭(zhēng)力。在大數(shù)據(jù)時(shí)代,企業(yè)必須熟悉和用好海量的數(shù)據(jù),而互聯(lián)網(wǎng)行業(yè)已提早感受到了大數(shù)據(jù)帶來(lái)的深切變化。一些互聯(lián)網(wǎng)企業(yè)已經(jīng)完成了核心競(jìng)爭(zhēng)力的重新定義。
3.大數(shù)據(jù)“藍(lán)!背蔀楦(jìng)爭(zhēng)的新焦點(diǎn)
大數(shù)據(jù)所能帶來(lái)的巨大商業(yè)價(jià)值,被認(rèn)為將引領(lǐng)一場(chǎng)足以與20世紀(jì)計(jì)算機(jī)革命匹敵的巨大變革。大數(shù)據(jù)正在對(duì)每個(gè)領(lǐng)域造成影響,在商業(yè)、經(jīng)濟(jì)和其他領(lǐng)域中,決策行為將日益基于數(shù)據(jù)分析,而不再是憑借經(jīng)驗(yàn)和直覺(jué)。大數(shù)據(jù)正在成為政府和企業(yè)競(jìng)爭(zhēng)的新焦點(diǎn)。各大企業(yè)正紛紛投向大數(shù)據(jù)促生的新藍(lán)海。甲骨文、IBM、微軟和SAP共投入超過(guò)15億美元成立各自的軟件智能數(shù)據(jù)管理和分析專(zhuān)業(yè)公司。在大數(shù)據(jù)時(shí)代,商業(yè)生態(tài)環(huán)境在不經(jīng)意間發(fā)生了巨大變化:無(wú)處不在的智能終端、隨時(shí)在線的網(wǎng)絡(luò)傳輸、互動(dòng)頻繁的社交網(wǎng)絡(luò),讓以往只是網(wǎng)頁(yè)瀏覽者的網(wǎng)民的面孔從模糊變得清晰,企業(yè)也有機(jī)會(huì)進(jìn)行大規(guī)模的精準(zhǔn)化的消費(fèi)者行為研究。大數(shù)據(jù)藍(lán)海將成為未來(lái)競(jìng)爭(zhēng)的制高點(diǎn)。