浩瀚深度劉彤解讀大數(shù)據分析之道

2014-08-28 22:16:45 中國信息產業(yè)網　點擊量：評論 (0)

主持人：彭超中國信息產業(yè)網常務副總裁訪談嘉賓：劉彤北京浩瀚深度信息技術股份有限公司副總裁北京浩瀚深度信息技術股份有限公司副總裁劉彤做客中國信息產業(yè)網(點擊播放)精彩觀點·大數(shù)據本身雖然叫大數(shù)據，

主持人：剛剛說到，在大數(shù)據采集方面技術已經不是大問題，但是在對數(shù)據進行多維度疊加分析時，每疊加一個維度所帶來的計算量的差別，是什么樣的一個關系？數(shù)據的處理能力又會有哪些區(qū)別？

劉彤：每做一個維度的疊加必然會帶來數(shù)據量的增長，這是一個很簡單的邏輯問題。作為運算來說，維度的疊加會帶來數(shù)據量的級數(shù)增長，但是在應用場景確定的情況下，數(shù)據又是在做收斂的，是在做層層的過濾，而不是層層的疊加，數(shù)據是在過濾的過程中做高密度疊加的。在這種情況下，并沒有帶來想象中的數(shù)據膨脹，這是大數(shù)據和傳統(tǒng)應用系統(tǒng)的一個很大的區(qū)別。

以前的關系型數(shù)據庫在進行分析時如果疊加維度，疊加到三個以上，處理能力就非常非常慢了，因為在進行數(shù)據處理的過程中，需要把每個維度同每一個數(shù)據進行關聯(lián)，建立關系，這種方法是把全網的數(shù)據都進行組合、關聯(lián)、疊加，數(shù)據處理的效率就會直線下降。

大數(shù)據分析的特點是，不是把全部數(shù)據都同時疊加，而是在每一個維度都展開分析，在分析的過程中進行過濾篩選。舉個簡單的例子，比如會場里有很多人，這么多人里按男女分類，先把男士挑出來，然后對男士的年齡段進行篩選，先把年齡段在20-40歲的選出來，再從中選出戴眼鏡的，會發(fā)現(xiàn)選出的人越來越少，要分析的對象越來越精確，數(shù)據量變大了嗎？其實沒有。但是如果同時要得到這些維度在每一個可能分析方向的結果，就等于把所有運算做了一遍。這就帶出了在大數(shù)據分析里一個非常核心的要素：選定目標。必須要有一個清晰的工作目標，先有目標，然后進行大數(shù)據篩選，而不是對數(shù)據進行全面的分析、全量的分析，得出所有的結論，再在結論里去找所需要的東西。

主持人：在對大數(shù)據進行分析的過程中，分析方法的差別可能會導致不同的結論，而這些結論也都是基于大數(shù)據分析的，如何才能確保制定了目標之后，得到正確的結論？

劉彤：這個問題從分析的角度來說，很難進行解答，因為做大數(shù)據的目標選擇，包括分析方法的確定、分析的流程步驟制定，輸出結果，怎么樣去正確的解讀數(shù)據結果，是需要經驗的積累的。

大數(shù)據分析實際上是數(shù)學建模的過程，通過海量數(shù)據分析的過程，找到一些模型的規(guī)律，根據這些規(guī)律總結出相關的結論，而這些規(guī)律的搜集和積累過程是必須的，不能憑空拿出一些數(shù)據去做分析，馬上得出目標性的結論。

在第一次進行數(shù)據分析的時候，實際上是沒有任何參照的，在不知道行業(yè)運行方式、數(shù)據來源、數(shù)據使用方式的情況下去做數(shù)據分析是不科學的。數(shù)據分析，需要不斷累積經驗，基于數(shù)據所包含的信息量確定目標，再通過正確的分析方式，得到正確的結論。

確定目標的過程，是基于對數(shù)據的基礎分析判斷，其實在選定目標的時候，目標的制定者已經有了大致的分析計劃表，他知道要進行幾個維度的篩選疊加后能夠逼近分析結論。數(shù)據分析工程師在進行數(shù)據處理的時候，是依據目標制定者的思路來進行數(shù)據的逼近，逼近過程中，核心的保障不在于分析方法，因為分析方法已經確定了，而是在于數(shù)據分析的質量：數(shù)據是不是準確，是不是全面，是不是可靠，這些數(shù)據的有效性、延續(xù)性，是不是足夠滿足你的分析。這個過程是慢慢擴大對數(shù)據認知的過程，認知程度越深，驗證數(shù)據是不是有效可靠的過程就越順利，逼近結果的過程也就越順利，就會變成一個高效率的工作，并且會得出正確的結論。

大數(shù)據有一個好處是，在大數(shù)據應用的時候并不像傳統(tǒng)數(shù)據，展現(xiàn)的時候必須馬上給出結果，大數(shù)據的析結果是可以進行調整和修正的，會隨著結果與真實情況的驗證、對比來修正分析方法和模型，以便選擇更有效、更可靠的模型去逼近正確的結論。