大數據時代企業所面臨的三大挑戰

2014-04-11 10:53:03 天極網　點擊量：評論 (0)

大數據應用在全球各國發酵之際，伴隨而來的問題，就是各國普遍缺乏數據科學家，在國內，大數據的應用雖然才剛剛萌芽，但是要面臨的幾項重大挑戰。　　挑戰 1數據分析人才不足　　因應大數據處理的需求，

大數據應用在全球各國發酵之際，伴隨而來的問題，就是各國普遍缺乏數據科學家，在國內，大數據的應用雖然才剛剛萌芽，但是要面臨的幾項重大挑戰。

　　挑戰 1
數據分析人才不足
　　因應大數據處理的需求，不論企業決定采用哪一種解決方案，最終需要有數據科學家來運用這些大數據，才能活化大數據的價值，重新建構數據之間的關系，并賦予新的意義，進而轉換成企業的競爭武器。
　　在大數據處理環節中，數據科學家是能否點燃大數據價值的關鍵。然而，數據科學家的養成并不容易，因為數據科學家必須同時具備3種條件，包括深入了解企業內的業務與組織、具備數據探勘等統計應用知識、熟悉數據分析工具操作。
　　一般而言，擁有一項專長的人很多，但是，同時擁有3種專長的人，就非常稀少。然而，作為數據科學家就必須有整合運用的能力。否則如果只是熟悉數據分析工具操作，但卻不懂企業內的業務運作細節，就無法從既有數據中挖掘出新的數據價值。而若只懂業務卻不熟悉數據分析工具，也很難重新架構數據的價值。同樣的道理，如果缺乏數據探勘的技巧，最多只能做到OLAP(Online Analytical Processing)的展現。
　　目前國內的數據分析師，較擅長的是處理已經發生的問題，找出問題源頭，并且盡速排除問題，但是，相對缺乏發掘未知問題的能力。根據市場調查機構 Gartner的數據，有高達72%的企業認為，大數據的應用價值，在于預測未來。然而，這樣的應用需求與國內數據科學家的人才才不相匹配，預計將成為國內發展大數據應用的最大挑戰。
　　數據科學家必須同時具備3種條件，包括深入了解企業內的業務與組織、具備數據探勘等統計應用知識、熟悉數據分析工具操作。數據科學家的工作職缺，從2011年開始急速攀升，成為前10大熱門職缺。這項統計是匯集1千多個人力招聘公司的數百萬個職缺結果。

　　挑戰 2
當地大數據顧問服務不足
　　在大數據的應用風潮下，新興的技術與人才也備受矚目，其中又以Hadoop架構的技術人才最為缺乏，目前不論企業或信息廠商都相當缺乏非結構數據處理的技術人才，因此，即使是概念驗證階段，大多需要依賴國外顧問飛來國內，所花費的時間與成本，都讓大數據處理的效益大打折扣。
　　國內之所以會面臨Hadoop人才不足的問題，主要是因為Hadoop的發展源自美國，所以Hadoop相關的技術資源，也都聚集在北美。目前Hadoop的應用，雖然逐漸延伸到亞洲國家，然而相關的技術人才與顧問服務都還在萌芽。
　　為了解決Hadoop當地顧問服務不足的問題，企業也可以考慮培養自己的Hadoop團隊。然而，由于Hadoop的應用在國內才剛剛開始，因此，企業對于是否要培養自己的Hadoop團隊，尚言之過早。一方面是因為企業的大數據處理，還沒有導入Hadoop的迫切性，另一方面則是對 Hadoop的長期發展還在觀望當中。
　　奇美電子信息管理處副總處長李宴昌不諱言地指出，信息產業每隔幾年就會出現一個新技術，但未來能否普及卻不一定，企業不可能承擔這種風險，在這個階段就決定培養Hadoop技術人才，除非可以確定這種人才的長期需求，否則寧愿先觀望再布局。

　　挑戰 3
對數據價值的敏感度不足
　　大數據的價值，除了解決現在無法解決的問題，還要能發掘原本不知道的問題。業內人士認為，數據分析的前提是，數據保留的完整性與正確性。然而，在國內的企業文化中，長期以來都沒有依賴數據來做決策判斷的習慣，對于數據的價值也理解不足，甚至是忽略數據的存在，因此，有些企業根本沒有保留數據與應用數據的長期規劃。
　　舉例來說，在國內部署非常普遍的ERP系統，是所有應用系統中，與企業營運最息息相關的系統，理論上，ERP系統中的數據品質，也就是數據的正確性以及一致性等，應該都是企業內各應用系統中最好的。但實際的情況并非如此，ERP系統的帳務數據，并不能與企業的營運畫上等號。
　　一般而言，企業在導入大數據應用時，如果既有應用系統的數據品質越好，技術面導入的成功機率就越高。而若沒有好的數據品質，卻要做大數據分析，就要有面對辛苦的準備，因為大數據分析絕對還是必要的。
　　大數據分析的價值，在于活化數據再利用。信息科技的發展，本來就是為了處理信息，而不是為了提升硬體效能，如果導入大數據的決策單位，是由信息部門主導，很有可能就會專注在系統效能提升層面。如果由執行長等級的決策者領軍，相對較易把大數據的應用與業務命脈整合。
　　根據市場調查機構Ventana所揭露的數據，目前導入大數據的決策者，高達66%是信息部門的中階主管，由信息高級主管等級來做決策的比例，僅有33%。