企業(yè)信息化如何處理大數(shù)據(jù)時代的小數(shù)據(jù)
如今,CIO們都已經(jīng)接受了“大數(shù)據(jù)”的概念,另一個概念也逐漸受到關(guān)注:小數(shù)據(jù)。
這兩者看似是相對立的兩端,但是這不完全正確。小數(shù)據(jù)往往指數(shù)據(jù)量;而大數(shù)據(jù)當(dāng)然也包含了數(shù)據(jù)量,但是也包含了多樣性,時效性,特定的技術(shù)或者其他概念。
Kirk Borne,是美國喬治梅森大學(xué)的天體物理學(xué)和計算機(jī)科學(xué)的教授, 他認(rèn)為這兩者的區(qū)別是很重要的。Borne有關(guān)大數(shù)據(jù)的課程專注于大數(shù)據(jù)的屬性和先進(jìn)的分析技術(shù), 而這些也幾乎總是可以應(yīng)用于小數(shù)據(jù)。但是后者卻可以使學(xué)生進(jìn)行實(shí)驗,磨練他們在數(shù)據(jù)分析上的技能。而大數(shù)據(jù)則會快速把他們淹沒。
隨著CIO們斟酌著“多少數(shù)據(jù)是太多的數(shù)據(jù)”這個問題時,小數(shù)據(jù)在企業(yè)界因為類似的原因為自己樹立名聲。 Borne,前美國航空航天局員工,還曾為哈勃太空望遠(yuǎn)鏡團(tuán)隊工作10年,在接受TechTarget專訪時討論了有關(guān)什么是小數(shù)據(jù),以及它和大數(shù)據(jù)概念如何相互融合。
問:您最近會在一些會議上討論小數(shù)據(jù)和大數(shù)據(jù)的對比。讓我們先從定義開始:什么是大數(shù)據(jù),什么是小數(shù)據(jù)?
Kirk Borne:定義小數(shù)據(jù)相對容易點(diǎn),因為它基本上就是你能在筆記本電腦上完成的數(shù)據(jù)。大數(shù)據(jù) – 則更復(fù)雜。我現(xiàn)在正在推廣這樣一個定義:大數(shù)據(jù)就是一切能夠被量化和被追蹤的。關(guān)于這一點(diǎn),我的意思是我們現(xiàn)在幾乎對于一切都在進(jìn)行測量和量化 – 通過社交媒體,智能高速公路,智能城市,移動醫(yī)療,電子醫(yī)療記錄,監(jiān)控攝像頭無處不在,這也涉及到大數(shù)據(jù)所帶來的隱私問題。所有可以被測量的一切,我們都在進(jìn)行測量。而我們不僅只是進(jìn)行一次測量,我們還跟蹤它如何隨時間而變化。
問:為什么大數(shù)據(jù)如此難以定義?
Borne:你肯定看過瞎子摸象的動畫片。每個人對于它是什么都有不同的定義,因為有人摸到的是腿,有人摸到的是鼻子,有人摸到的是尾巴。對于‘大象’,每個人都有不同的描述和定義。這就是我們的難處。人們希望大數(shù)據(jù)是一個概念,但是這是行不通的。
問:就職于Actuate公司的Allen Bonde曾經(jīng)說過,小數(shù)據(jù)適合人使用,而大數(shù)據(jù)適合機(jī)器使用。這一區(qū)別定義合理嗎?
Borne:是的。這是一種概括的說法。小數(shù)據(jù),是你學(xué)習(xí)時使用的數(shù)據(jù)。關(guān)于學(xué)習(xí),我指的是兩件事情:第一,教育概念里的學(xué)習(xí)。所以,當(dāng)我教授課程時,我一直使用小數(shù)據(jù),我從來沒有使用過大容量意義上的大數(shù)據(jù),因為如果這樣,學(xué)生們就會花費(fèi)一整個學(xué)期學(xué)習(xí)如何移動數(shù)據(jù),而沒有時間學(xué)習(xí)任何運(yùn)算方法。第二,當(dāng)你在一個企業(yè)內(nèi),你想知道使用哪些合適的數(shù)據(jù)能夠,追蹤客戶,或者向客戶提供推薦,或者知道客戶的偏好。或者說,有一個網(wǎng)絡(luò)安全分析問題,你需要檢測出漏洞或黑客攻擊。所以,你進(jìn)行這些實(shí)驗,找出你所需要測量的數(shù)據(jù) - 這就是小數(shù)據(jù)。
一旦你學(xué)會了這一模型......那么你使用它,在機(jī)器上運(yùn)行完整的數(shù)據(jù)流。機(jī)器,本質(zhì)上,使用你通過小數(shù)據(jù)得出的模型或者技能,在大數(shù)據(jù)流上進(jìn)行運(yùn)算。所以,小數(shù)據(jù)適合人使用,而大數(shù)據(jù)適合機(jī)器使用。
問:可視化技術(shù)在小數(shù)據(jù)與大數(shù)據(jù)的討論中如何起到作用?
Borne:讓我給你舉個例子。當(dāng)你第一次使用谷歌地圖或者其他任何地圖服務(wù)時,你會先看到一個世界地圖。你沒有真正獲得任何數(shù)據(jù);你只是看到了地球的圖片。當(dāng)你不斷放大到一個特定的地點(diǎn),它只提供給你這個特定地點(diǎn)的信息。當(dāng)你不斷放大,你將獲得越來越高分辨率的數(shù)據(jù)。當(dāng)你放大到分辨率最大可能值時,你就能看到自家的后院。這只不過是大數(shù)據(jù)的一個子集。是的,這一部分是‘小數(shù)據(jù)’,但是你真正所作的是,建立了一個分級數(shù)據(jù)結(jié)構(gòu),使你能夠一層一層的放大。你可以左右移動,在同樣分辨率下看到其他房子或者小區(qū)。可視化的強(qiáng)大就在這里。當(dāng)你鍵入這個分級數(shù)據(jù)結(jié)構(gòu)的某一特定數(shù)據(jù)時,可以說,你只是看到了冰山一角。 但是當(dāng)你想移動到另一邊時,你就可以獲得同樣分辨率數(shù)據(jù)集下的其他特定數(shù)據(jù)。你仍然可以訪問整個數(shù)據(jù)集。
如果是小數(shù)據(jù),你只是下載了一張地圖,比如你自己城市的一個高分辨率地圖,然后在地圖上進(jìn)行數(shù)據(jù)分析。

責(zé)任編輯:葉雨田
- 相關(guān)閱讀
- 泛在電力物聯(lián)網(wǎng)
- 電動汽車
- 儲能技術(shù)
- 智能電網(wǎng)
- 電力通信
- 電力軟件
- 高壓技術(shù)
-
權(quán)威發(fā)布 | 新能源汽車產(chǎn)業(yè)頂層設(shè)計落地:鼓勵“光儲充放”,有序推進(jìn)氫燃料供給體系建設(shè)
2020-11-03新能源,汽車,產(chǎn)業(yè),設(shè)計 -
中國自主研制的“人造太陽”重力支撐設(shè)備正式啟運(yùn)
2020-09-14核聚變,ITER,核電 -
探索 | 既耗能又可供能的數(shù)據(jù)中心 打造融合型綜合能源系統(tǒng)
2020-06-16綜合能源服務(wù),新能源消納,能源互聯(lián)網(wǎng)
-
新基建助推 數(shù)據(jù)中心建設(shè)將迎爆發(fā)期
2020-06-16數(shù)據(jù)中心,能源互聯(lián)網(wǎng),電力新基建 -
泛在電力物聯(lián)網(wǎng)建設(shè)下看電網(wǎng)企業(yè)數(shù)據(jù)變現(xiàn)之路
2019-11-12泛在電力物聯(lián)網(wǎng) -
泛在電力物聯(lián)網(wǎng)建設(shè)典型實(shí)踐案例
2019-10-15泛在電力物聯(lián)網(wǎng)案例
-
新基建之充電樁“火”了 想進(jìn)這個行業(yè)要“心里有底”
2020-06-16充電樁,充電基礎(chǔ)設(shè)施,電力新基建 -
燃料電池汽車駛?cè)雽こ0傩占疫€要多久?
-
備戰(zhàn)全面電動化 多部委及央企“定調(diào)”充電樁配套節(jié)奏
-
權(quán)威發(fā)布 | 新能源汽車產(chǎn)業(yè)頂層設(shè)計落地:鼓勵“光儲充放”,有序推進(jìn)氫燃料供給體系建設(shè)
2020-11-03新能源,汽車,產(chǎn)業(yè),設(shè)計 -
中國自主研制的“人造太陽”重力支撐設(shè)備正式啟運(yùn)
2020-09-14核聚變,ITER,核電 -
能源革命和電改政策紅利將長期助力儲能行業(yè)發(fā)展
-
探索 | 既耗能又可供能的數(shù)據(jù)中心 打造融合型綜合能源系統(tǒng)
2020-06-16綜合能源服務(wù),新能源消納,能源互聯(lián)網(wǎng) -
5G新基建助力智能電網(wǎng)發(fā)展
2020-06-125G,智能電網(wǎng),配電網(wǎng) -
從智能電網(wǎng)到智能城市