一、hadoop相關(guān)工具

1.Hadoop

Apache的Hadoop項(xiàng)目已幾乎與大數(shù)據(jù)劃上了等號(hào)。它不斷壯大起來(lái)，已成為一個(gè)完整的生態(tài)系統(tǒng)，眾多開(kāi)源工具面向高度擴(kuò)展的分布式計(jì)算。

支持的操作系統(tǒng)：Windows、Linux和OSX。

2.Ambari

作為Hadoop生態(tài)系統(tǒng)的一部分，這個(gè)Apache項(xiàng)目提供了基于Web的直觀界面，可用于配置、管理和監(jiān)控Hadoop集群。有些開(kāi)發(fā)人員想把Ambari的功能整合到自己的應(yīng)用程序當(dāng)中，Ambari也為他們提供了充分利用REST(代表性狀態(tài)傳輸協(xié)議)的API。

支持的操作系統(tǒng)：Windows、Linux和OSX。

3.Avro

這個(gè)Apache項(xiàng)目提供了數(shù)據(jù)序列化系統(tǒng)，擁有豐富的數(shù)據(jù)結(jié)構(gòu)和緊湊格式。模式用JSON來(lái)定義，它很容易與動(dòng)態(tài)語(yǔ)言整合起來(lái)。

4.Cascading

Cascading是一款基于Hadoop的應(yīng)用程序開(kāi)發(fā)平臺(tái)。提供商業(yè)支持和培訓(xùn)服務(wù)。

5.Chukwa

Chukwa基于Hadoop，可以收集來(lái)自大型分布式系統(tǒng)的數(shù)據(jù)，用于監(jiān)控。它還含有用于分析和顯示數(shù)據(jù)的工具。

支持的操作系統(tǒng)：Linux和OSX。

6.Flume

Flume可以從其他應(yīng)用程序收集日志數(shù)據(jù)，然后將這些數(shù)據(jù)送入到Hadoop。官方網(wǎng)站聲稱(chēng)：“它功能強(qiáng)大、具有容錯(cuò)性，還擁有可以調(diào)整優(yōu)化的可靠性機(jī)制和許多故障切換及恢復(fù)機(jī)制。”

支持的操作系統(tǒng)：Linux和OSX。

7.HBase

HBase是為有數(shù)十億行和數(shù)百萬(wàn)列的超大表設(shè)計(jì)的，這是一種分布式數(shù)據(jù)庫(kù)，可以對(duì)大數(shù)據(jù)進(jìn)行隨機(jī)性的實(shí)時(shí)讀取/寫(xiě)入訪(fǎng)問(wèn)。它有點(diǎn)類(lèi)似谷歌的Bigtable，不過(guò)基于Hadoop和Hadoop分布式文件系統(tǒng)(HDFS)而建。

8.Hadoop分布式文件系統(tǒng)(HDFS)

HDFS是面向Hadoop的文件系統(tǒng)，不過(guò)它也可以用作一種獨(dú)立的分布式文件系統(tǒng)。它基于Java，具有容錯(cuò)性、高度擴(kuò)展性和高度配置性。

支持的操作系統(tǒng)：Windows、Linux和OSX。

9.Hive

ApacheHive是面向Hadoop生態(tài)系統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)。它讓用戶(hù)可以使用HiveQL查詢(xún)和管理大數(shù)據(jù)，這是一種類(lèi)似SQL的語(yǔ)言。

10.Hivemall

Hivemall結(jié)合了面向Hive的多種機(jī)器學(xué)習(xí)算法。它包括諸多高度擴(kuò)展性算法，可用于數(shù)據(jù)分類(lèi)、遞歸、推薦、k最近鄰、異常檢測(cè)和特征哈希。

11.Mahout

據(jù)官方網(wǎng)站聲稱(chēng)，Mahout項(xiàng)目的目的是“為迅速構(gòu)建可擴(kuò)展、高性能的機(jī)器學(xué)習(xí)應(yīng)用程序打造一個(gè)環(huán)境。”它包括用于在HadoopMapReduce上進(jìn)行數(shù)據(jù)挖掘的眾多算法，還包括一些面向Scala和Spark環(huán)境的新穎算法。

12.MapReduce

作為Hadoop一個(gè)不可或缺的部分，MapReduce這種編程模型為處理大型分布式數(shù)據(jù)集提供了一種方法。它最初是由谷歌開(kāi)發(fā)的，但現(xiàn)在也被本文介紹的另外幾個(gè)大數(shù)據(jù)工具所使用，包括CouchDB、MongoDB和Riak。

13.Oozie

這種工作流程調(diào)度工具是為了管理Hadoop任務(wù)而專(zhuān)門(mén)設(shè)計(jì)的。它能夠按照時(shí)間或按照數(shù)據(jù)可用情況觸發(fā)任務(wù)，并與MapReduce、Pig、Hive、Sqoop及其他許多相關(guān)工具整合起來(lái)。

支持的操作系統(tǒng)：Linux和OSX。

14.Pig

ApachePig是一種面向分布式大數(shù)據(jù)分析的平臺(tái)。它依賴(lài)一種名為PigLatin的編程語(yǔ)言，擁有簡(jiǎn)化的并行編程、優(yōu)化和可擴(kuò)展性等優(yōu)點(diǎn)。

15.Sqoop

企業(yè)經(jīng)常需要在關(guān)系數(shù)據(jù)庫(kù)與Hadoop之間傳輸數(shù)據(jù)，而Sqoop就是能完成這項(xiàng)任務(wù)的一款工具。它可以將數(shù)據(jù)導(dǎo)入到Hive或HBase，并從Hadoop導(dǎo)出到關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)(RDBMS)。

16.Spark

作為MapReduce之外的一種選擇，Spark是一種數(shù)據(jù)處理引擎。它聲稱(chēng)，用在內(nèi)存中時(shí)，其速度比MapReduce最多快100倍;用在磁盤(pán)上時(shí)，其速度比MapReduce最多快10倍。它可以與Hadoop和ApacheMesos一起使用，也可以獨(dú)立使用。

支持的操作系統(tǒng)：Windows、Linux和OSX。

17.Tez

Tez建立在ApacheHadoopYARN的基礎(chǔ)上，這是“一種應(yīng)用程序框架，允許為任務(wù)構(gòu)建一種復(fù)雜的有向無(wú)環(huán)圖，以便處理數(shù)據(jù)。”它讓Hive和Pig可以簡(jiǎn)化復(fù)雜的任務(wù)，而這些任務(wù)原本需要多個(gè)步驟才能完成。

支持的操作系統(tǒng)：Windows、Linux和OSX。

18.Zookeeper

這種大數(shù)據(jù)管理工具自稱(chēng)是“一項(xiàng)集中式服務(wù)，可用于維護(hù)配置信息、命名、提供分布式同步以及提供群組服務(wù)。”它讓Hadoop集群里面的節(jié)點(diǎn)可以彼此協(xié)調(diào)。

支持的操作系統(tǒng)：Linux、Windows(只適合開(kāi)發(fā)環(huán)境)和OSX(只適合開(kāi)發(fā)環(huán)境)。

　　二、大數(shù)據(jù)分析平臺(tái)和工具

19.Disco

Disco最初由諾基亞開(kāi)發(fā)，這是一種分布式計(jì)算框架，與Hadoop一樣，它也基于MapReduce。它包括一種分布式文件系統(tǒng)以及支持?jǐn)?shù)十億個(gè)鍵和值的數(shù)據(jù)庫(kù)。

支持的操作系統(tǒng)：Linux和OSX。

20.HPCC

作為Hadoop之外的一種選擇，HPCC這種大數(shù)據(jù)平臺(tái)承諾速度非?？欤瑪U(kuò)展性超強(qiáng)。除了免費(fèi)社區(qū)版外，HPCCSystems還提供收費(fèi)的企業(yè)版、收費(fèi)模塊、培訓(xùn)、咨詢(xún)及其他服務(wù)。

支持的操作系統(tǒng)：Linux。

21.Lumify

Lumify歸Altamira科技公司(以國(guó)家安全技術(shù)而聞名)所有，這是一種開(kāi)源大數(shù)據(jù)整合、分析和可視化平臺(tái)。你只要在Try.Lumify.io試一下演示版，就能看看它的實(shí)際效果。

支持的操作系統(tǒng)：Linux。

22.Pandas

Pandas項(xiàng)目包括基于Python編程語(yǔ)言的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)分析工具。它讓企業(yè)組織可以將Python用作R之外的一種選擇，用于大數(shù)據(jù)分析項(xiàng)目。

支持的操作系統(tǒng)：Windows、Linux和OSX。

23.Storm

Storm現(xiàn)在是一個(gè)Apache項(xiàng)目，它提供了實(shí)時(shí)處理大數(shù)據(jù)的功能(不像Hadoop只提供批任務(wù)處理)。其用戶(hù)包括推特、美國(guó)天氣頻道、WebMD、阿里巴巴、Yelp、雅虎日本、Spotify、Group、Flipboard及其他許多公司。

支持的操作系統(tǒng)：Linux。

　　三、數(shù)據(jù)庫(kù)/數(shù)據(jù)倉(cāng)庫(kù)

24.Blazegraph

Blazegraph之前名為“Bigdata”，這是一種高度擴(kuò)展、高性能的數(shù)據(jù)庫(kù)。它既有使用開(kāi)源許可證的版本，也有使用商業(yè)許可證的版本。

25.Cassandra

這種NoSQL數(shù)據(jù)庫(kù)最初由Facebook開(kāi)發(fā)，現(xiàn)已被1500多家企業(yè)組織使用，包括蘋(píng)果、歐洲原子核研究組織(CERN)、康卡斯特、電子港灣、GitHub、GoDaddy、Hulu、Instagram、Intuit、Netfilx、Reddit及其他機(jī)構(gòu)。它能支持超大規(guī)模集群;比如說(shuō)，蘋(píng)果部署的Cassandra系統(tǒng)就包括75000多個(gè)節(jié)點(diǎn)，擁有的數(shù)據(jù)量超過(guò)10PB。

26.CouchDB

CouchDB號(hào)稱(chēng)是“一款完全擁抱互聯(lián)網(wǎng)的數(shù)據(jù)庫(kù)”，它將數(shù)據(jù)存儲(chǔ)在JSON文檔中，這種文檔可以通過(guò)Web瀏覽器來(lái)查詢(xún)，并且用Java來(lái)處理。它易于使用，在分布式上網(wǎng)絡(luò)上具有高可用性和高擴(kuò)展性。

支持的操作系統(tǒng)：Windows、Linux、OSX和安卓。

27.FlockDB

由推特開(kāi)發(fā)的FlockDB是一種非?？臁U(kuò)展性非常好的圖形數(shù)據(jù)庫(kù)，擅長(zhǎng)存儲(chǔ)社交網(wǎng)絡(luò)數(shù)據(jù)。雖然它仍可用于下載，但是這個(gè)項(xiàng)目的開(kāi)源版已有一段時(shí)間沒(méi)有更新了。

28.Hibari

這個(gè)基于Erlang的項(xiàng)目自稱(chēng)是“一種分布式有序鍵值存儲(chǔ)系統(tǒng)，保證擁有很強(qiáng)的一致性”。它最初是由GeminiMobileTechnologies開(kāi)發(fā)的，現(xiàn)在已被歐洲和亞洲的幾家電信運(yùn)營(yíng)商所使用。

29.Hypertable

Hypertable是一種與Hadoop兼容的大數(shù)據(jù)數(shù)據(jù)庫(kù)，承諾性能超高，其用戶(hù)包括電子港灣、百度、高朋、Yelp及另外許多互聯(lián)網(wǎng)公司。提供商業(yè)支持服務(wù)。

支持的操作系統(tǒng)：Linux和OSX。

30.Impala

Cloudera聲稱(chēng)，基于SQL的Impala數(shù)據(jù)庫(kù)是“面向ApacheHadoop的領(lǐng)先的開(kāi)源分析數(shù)據(jù)庫(kù)”。它可以作為一款獨(dú)立產(chǎn)品來(lái)下載，又是Cloudera的商業(yè)大數(shù)據(jù)產(chǎn)品的一部分。

支持的操作系統(tǒng)：Linux和OSX。

31.InfoBright社區(qū)版

InfoBright為數(shù)據(jù)分析而設(shè)計(jì)，這是一種面向列的數(shù)據(jù)庫(kù)，具有很高的壓縮比。InfoBright.com提供基于同一代碼的收費(fèi)產(chǎn)品，提供支持服務(wù)。

支持的操作系統(tǒng)：Windows和Linux。

32.MongoDB

mongoDB的下載量已超過(guò)1000萬(wàn)人次，這是一種極其受歡迎的NoSQL數(shù)據(jù)庫(kù)。MongoDB.com上提供了企業(yè)版、支持、培訓(xùn)及相關(guān)產(chǎn)品和服務(wù)。

支持的操作系統(tǒng)：Windows、Linux、OSX和Solaris。