我們先來(lái)看看百度關(guān)于“大數(shù)據(jù)”（Big Data）的搜索指數(shù)，如下圖所示。

 

圖1-1 “大數(shù)據(jù)”搜索指數(shù)

 

   可以看出，“大數(shù)據(jù)”這個(gè)詞是從2012年才引起關(guān)注的，之后搜索量便迅猛增長(zhǎng)。為什么大數(shù)據(jù)這么受關(guān)注？看看下面的圖就明白了。2004年，全球數(shù)據(jù)總量是30EB 。隨后，2005年達(dá)到了50EB，2006年達(dá)到了161EB。到2015年，居然達(dá)到了驚人的7,900EB。到2020年，將達(dá)到35,000EB。這個(gè)規(guī)律，被稱為新摩爾定律，即：人類有史以來(lái)的數(shù)據(jù)總量，每過(guò)18個(gè)月就會(huì)翻一番。

圖1-2 全球數(shù)據(jù)總量

 

   為什么全球數(shù)據(jù)量增長(zhǎng)如此之快？一方面是由于數(shù)據(jù)產(chǎn)生方式的改變。歷史上，數(shù)據(jù)基本上是通過(guò)手工產(chǎn)生的。隨著人類步入信息社會(huì)，數(shù)據(jù)產(chǎn)生越來(lái)越自動(dòng)化了。比如在精細(xì)農(nóng)業(yè)中，需要采集植物生長(zhǎng)環(huán)境的溫度、濕度、病蟲害信息，來(lái)對(duì)植物的生長(zhǎng)進(jìn)行精細(xì)的控制。因此我們?cè)谥参锏纳L(zhǎng)環(huán)境中安裝各種各樣的傳感器，自動(dòng)地收集我們需要的信息。對(duì)環(huán)境的感知，是一種抽樣的手段，抽樣密度越高，越逼近真實(shí)情形。如今，人類不再滿足于得到部分信息，而是傾向于收集對(duì)象的全量的信息，即將我們周圍的一切數(shù)據(jù)化。因?yàn)橛行?shù)據(jù)如果丟失了哪怕很小一部分，都有可能得出錯(cuò)誤的結(jié)論，比如通過(guò)分析人的基因組判斷某人可能患有某種疾病，即使丟失一小塊基因片段，都有可能導(dǎo)致錯(cuò)誤的結(jié)論。為了達(dá)到這個(gè)目的，傳感器的使用量暴增。目前全球大約有30-50億個(gè)傳感器，到2020年將達(dá)到1000億個(gè)之多。這些傳感器24小時(shí)都在產(chǎn)生數(shù)據(jù)，這就導(dǎo)致了信息爆炸。

   另一方面，人類的活動(dòng)越來(lái)越依賴數(shù)據(jù)。一是人類的日常生活已經(jīng)與數(shù)據(jù)密不可分。全球已經(jīng)有大約30億人連入了互聯(lián)網(wǎng)。在Web 2.0時(shí)代，每個(gè)人不僅是信息的接受者，同時(shí)也是信息的產(chǎn)生者，每個(gè)人都成為了數(shù)據(jù)源，每個(gè)人都在用智能終端拍照、拍錄像、發(fā)微博、發(fā)微信等。全球每天會(huì)有2.88萬(wàn)小時(shí)的視頻上傳到Y(jié)outube，會(huì)有5千萬(wàn)條信息上傳到Twitter，會(huì)在亞馬遜產(chǎn)生630萬(wàn)筆訂單…；二是科學(xué)研究進(jìn)入到了“數(shù)據(jù)科學(xué)”時(shí)代。例如，在物理學(xué)領(lǐng)域，歐洲粒子物理研究所的大型強(qiáng)子對(duì)撞機(jī)，每秒產(chǎn)生的原始數(shù)據(jù)量高達(dá)40TB。在天文學(xué)領(lǐng)域，2000年斯隆數(shù)字巡天項(xiàng)目啟動(dòng)的時(shí)候，位于墨西哥州的望遠(yuǎn)鏡在短短幾周內(nèi)收集到的數(shù)據(jù)比天文學(xué)歷史上的總和還要多；三是各行各業(yè)也越來(lái)越依賴大數(shù)據(jù)手段來(lái)開展工作。例如，石油部門用地震勘探的方法來(lái)探測(cè)地質(zhì)構(gòu)造、尋找石油，使用了大量傳感器來(lái)采集地震波形數(shù)據(jù)。高鐵的運(yùn)行要保障安全，需要在每一段鐵軌周邊大量部署傳感器，從而感知異物、滑坡、水淹、變形、地震等異常。在智慧城市建設(shè)中，包括平安城市、智能交通、智慧環(huán)保和智能家居等，都會(huì)產(chǎn)生大量的數(shù)據(jù)。目前一個(gè)普通城市的攝像頭往往就有幾十萬(wàn)個(gè)之多，每分每秒都在產(chǎn)生極其海量的數(shù)據(jù)。 

   那么，何謂大數(shù)據(jù)？參考維基百科，本書給出的定義如下：海量數(shù)據(jù)或巨量數(shù)據(jù)，其規(guī)模巨大到無(wú)法通過(guò)目前主流的計(jì)算機(jī)系統(tǒng)在合理時(shí)間內(nèi)獲取、存儲(chǔ)、管理、處理并提煉以幫助使用者決策。

   目前工業(yè)界普遍認(rèn)為大數(shù)據(jù)具有4V+1C的特征：

   1）數(shù)據(jù)量大（Volume）：存儲(chǔ)的數(shù)據(jù)量巨大，PB級(jí)別是常態(tài)，因而對(duì)其分析的計(jì)算量也大；

   2）多樣（Variety）：數(shù)據(jù)的來(lái)源及格式多樣，數(shù)據(jù)格式除了傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)外，還包括半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)，比如用戶上傳的音頻和視頻內(nèi)容。而隨著人類的活動(dòng)的進(jìn)一步拓寬，數(shù)據(jù)的來(lái)源更加多樣；

   3）快速（Velocity）：數(shù)據(jù)增長(zhǎng)速度快，而且越新的數(shù)據(jù)價(jià)值越大，這就要求對(duì)數(shù)據(jù)的處理速度也要快，以便能夠從數(shù)據(jù)中及時(shí)地提取知識(shí)，發(fā)現(xiàn)價(jià)值；

   4）價(jià)值密度低（Value）：需要對(duì)大量的數(shù)據(jù)處理挖掘其潛在的價(jià)值，因而，大數(shù)據(jù)對(duì)我們提出的明確要求是設(shè)計(jì)一種在成本可接受的條件下，通過(guò)快速采集、發(fā)現(xiàn)和分析從大量、多種類別的數(shù)據(jù)中提取價(jià)值的體系架構(gòu)；

  5）復(fù)雜度（Complexity）：對(duì)數(shù)據(jù)的處理和分析和處理的難度大。

 

本欄目由犀思云計(jì)算(Syscloud)贊助冠名，犀思云為中國(guó)領(lǐng)先的云計(jì)算及IDC綜合服務(wù)提供商，面向全國(guó)范圍內(nèi)的用戶提供服務(wù)器托管與租用服務(wù)，云計(jì)算IaaS領(lǐng)域內(nèi)網(wǎng)絡(luò)，計(jì)算，存儲(chǔ)，安全等服務(wù)，以及面向互聯(lián)網(wǎng)及傳統(tǒng)行業(yè)的混合云解決方案。