大數(shù)據(jù)“老兵”暢談大數(shù)據(jù)基礎設施建設

2014-07-31 23:11:23 TechTarget中國　點擊量：評論 (0)

Martin Leach在大數(shù)據(jù)工作方面非常忙碌。他曾作為MIT和哈佛大學聯(lián)合開辦的Broad研究所的CIO，在那里，他要負責13PB數(shù)據(jù)的存儲，使用超級計算機進行計算。他和他的團隊為人類基因圖繪制工作做出了卓越貢獻。　　

　　在研究所之前，他團隊所支持的研究小組為醫(yī)藥巨頭默克公司研發(fā)。現(xiàn)在，他的新職務是生物技術公司Biogen 的IT研發(fā)副總裁，目前，他一些數(shù)據(jù)科學家編入團隊。這只團隊通過大數(shù)據(jù)分析處理保障Biogen 公司的研發(fā)。

　　在他離開非營利組織Broad生物研究所前，我們的編輯采訪到Leach。他介紹了CIO在大數(shù)據(jù)方面所面臨的困境，以及處理大數(shù)據(jù)所需要的技術和能力。Leach表示，企業(yè)大數(shù)據(jù)分析的投資已經(jīng)由最初的200萬美元上升到400萬美元，很少專家愿意使用開源工具工作。而最不被重視的數(shù)據(jù)科學家往往能為企業(yè)找到真正有用的數(shù)據(jù)。

leach_martin

　　問：你曾經(jīng)作為CIO們的咨詢顧問，在企業(yè)建設大數(shù)據(jù)基礎設施時提供建議，你通常都會有哪些建議？

　　Leach：最開始的階段是要確認企業(yè)的大數(shù)據(jù)項目計劃是什么。做這個項目的最大需求是什么，這是開始階段最重要的問題，絕不是考慮什么技術或者需要采購什么項目。

　　問：在Broad研究所的時候，他們做大數(shù)據(jù)項目最大的需求是什么？

　　Leach：當時最大的需求是解決內(nèi)部數(shù)據(jù)的產(chǎn)生、消化以及存儲問題。那個時候在公共機構，比如Broad和私人機構之間是有一個競爭的，看誰能做出人類基因圖。因為有這樣的外部驅(qū)動力，所以，我們考慮的都是如何把項目做的更快一些。我們當時要么慢下來，要么放棄這個工程，要么尋找到更快項目實施方法。

　　這對我來說，無疑是個挑戰(zhàn)，尤其我對生物技術至今都了解不多。他們將一些實驗外包出去，并將生成的數(shù)據(jù)傳輸過來，突然間，他們就會有數(shù)以萬億字節(jié)的數(shù)據(jù)需要傳輸，他們會有這樣的疑問：“我該往那種硬盤里存放數(shù)據(jù)？我如何獲取這些數(shù)據(jù)？我計算這些數(shù)據(jù)時要放置在哪里？我又該如何去計算呢？” 我在一群生命科學家那里看到的是他們對數(shù)據(jù)處理有非常強烈的需求，他們的第一個問題是：“我如何處理這些數(shù)據(jù)？又該放在哪里？”

　　問：那他們存放在哪里？

　　Leach：很多公司會放置在公司內(nèi)部。但有些公司會放在云端，但這些數(shù)據(jù)量很小也不會常用。生命科學領域的數(shù)據(jù)通常包括遺傳學與基因組學資料、藥物信息或者病人記錄，如果存放在防火墻之外會有很多憂慮。

　　所以，當你確定為什么需要數(shù)據(jù)后，下一個工作就是考慮如何存放他們。再下一個就是如何利用計算機處理數(shù)據(jù)。那是需要在內(nèi)部計算機內(nèi)存儲處理呢，還是放置在云端，比如亞馬遜上，需要時再拿回來處理？這就涉及到大家的另一個猜想，為什么數(shù)據(jù)需要首先在內(nèi)部處理呢？

　　問：獲取數(shù)據(jù)簡單嗎？

　　Leach：真正的獲取過程并不簡單。考慮到傳輸速度，有些公司會從云端傳輸。有些則使用硬盤傳輸。這里面涉及到很多問題，比如，你從波士頓獲取數(shù)據(jù)，但你的數(shù)據(jù)中心在北卡羅來納州，我需要解決的問題是，我該如何將幾百億字節(jié)的數(shù)據(jù)通過公司網(wǎng)絡傳到服務器上，為此我還要做哪些工作？

　　問：公司如何處理數(shù)據(jù)的獲取？

　　Leach：有些情況下，研究基于硬盤上的一堆數(shù)據(jù)，企業(yè)就會消極對待傳往服務器上的數(shù)據(jù)。有些情況，企業(yè)試圖在內(nèi)部網(wǎng)絡中使用數(shù)據(jù)，進而影響內(nèi)部網(wǎng)絡，因為他們會將數(shù)據(jù)轉移到典型的企業(yè)數(shù)據(jù)網(wǎng)絡而不是數(shù)據(jù)中心。另外一些則是和IT部門緊密合作。

　　這部分取決于企業(yè)其他部門如何與 IT部門合作。我認為網(wǎng)絡限速器是為了讓其他部門更好地與IT部門合作，也是為了保證IT部門的足夠靈活性。這類的項目并不是傳統(tǒng)意義上標準的IT基礎設施。嘗試在Oracle數(shù)據(jù)庫上研發(fā)大數(shù)據(jù)，Oracle會建議你購買一些外部硬件，但你需要數(shù)據(jù)庫專家，這些專家不僅懂得常規(guī)數(shù)據(jù)庫關系，也要了解NoSQL、CouchDB、 MongoDB等等。

　　接下來就是如何找到一群高素質(zhì)的人才，他們可熟練運用現(xiàn)在的開源技術產(chǎn)品，比如Hadoop、OpenStack之類。人才對于團隊來說至關重要，我常常聽到同行們的抱怨：“我該去哪里找到真正的千里馬？”

　　問：CIO們會去哪些領域?qū)ふ胰瞬牛?/div>

　　問：我從eBay的CTO那里了解到，一個重要的領域就是經(jīng)濟學家。經(jīng)濟學家喜歡在數(shù)據(jù)中尋找金礦，他們也喜歡用數(shù)據(jù)去解決深層次問題。有一群突然意識到大數(shù)據(jù)的經(jīng)濟學家會說：哇，我們從來沒有處理過這種水平的數(shù)據(jù)。

　　問：所以，你只能找那些喜歡數(shù)據(jù)挖掘避過愿意使用開源工具的人？

　　Leach：我曾經(jīng)看到一群物理學家在大數(shù)據(jù)領域工作。Hadron Collider里的工作人員每天需要沉浸在在機器產(chǎn)生的PBS數(shù)量級的數(shù)據(jù)中。經(jīng)濟學家、物理學家以及喜歡衍生工具的人，都是典型的數(shù)據(jù)分析師：他們喜歡數(shù)據(jù)。我將去經(jīng)濟學家領域找到合適的人才，因為我之前不太重視他們。

　　問：一些公司對大數(shù)據(jù)最大的誤解是什么？

　　Leach：我認為很多公司都不會意識到他們?nèi)绾卧谝婚_始就小心翼翼的對待數(shù)據(jù)。你在數(shù)據(jù)管理、注解、組織方面花的時間少了，就會影響你如何使用數(shù)據(jù)。我們從一份統(tǒng)計里看到，當我們的項目完成五個月后，就沒有人再去關注數(shù)據(jù)里。你兩年來的數(shù)據(jù)怎么處理？刪掉他？還是重新組織？鑒于目前數(shù)據(jù)存儲成本下降，我們可以存儲這些數(shù)據(jù)。

　　問：這或許就是你談到的，當人們開始面對大數(shù)據(jù)時，往往會變得很短視？

　　Leach：不僅是IT部門的短視，連數(shù)據(jù)搜集者也是這樣。IT部門負責數(shù)據(jù)搜集，從IT的角度來看，IT部門是不會考慮長遠的，但搜集者也是僅僅關注當下的數(shù)據(jù)，或關注他們搜集到的數(shù)據(jù)。

　　問：為了實現(xiàn)大數(shù)據(jù)的目標，你需要收集足夠多的數(shù)據(jù)，你手機的越多，做出的預測也越精準，可以這樣理解嗎？

　　Leach：是的，如果你真的能把握的話，大數(shù)據(jù)僅僅“大”而已。