大数据处理工具汇总(没有最全,只有更全^_^)

开源大数据处理工具:

查询引擎:phoenix、Stinger、Presto、shark、pig、Cloudera impala、Apache Drill、Apache Tajo、Hive

流式计算:Facebook Puma、Twitter Rainbird、YAhoo S4、Twitter Storm

迭代计算:Apache Hama、Apache Giraph、HaLoop、Twister

离线计算:Hadoop MapReeduce、Berkeley Spark、DataTorrent

键值存储:LeverDB、RocksDB、HyperDex、TokyoCabinet、Voldemort、Amazon Dynamo、Tair、Apache Accumulo、Redis

表格存储:Oceanbase、Amazon SimpleDB、Vertica、Cassandra、FoundationDB、HBase

文件存储:CouchDB、MongoDB、Tachyon、KFS、HDFS

资源管理:Twitter Mesos、Hadoop Yarn

日志搜集系统:Facebook Scribe、Cloudera Flume、logstash、kibana

消息系统:StormMQ、ZeroMQ、RabbitMQ、Apache ActiveMQ、Jafka、Apache Jfaka

分布式服务:Zookeeper

RPC:Apache Avro、Facebook Thrift

集群管理:Nagios、Ganglia、Apache Ambari

基础设施:LeverDB、SSTable、RecordIO、Flat Buffers、Protocol Buffers、Consistent Hashing、Netty、BloomFilter

搜索引擎:Nutch 、Lucene、SolrCloud、Solr、Elasticsearch、Sphinx、senseiDB

数据挖掘:Mahout

Iaas:OpenStack、Docker、Kuberbetes、Imctfy

监控管理:Dapper、Zipkin

时间: 2024-10-18 23:43:49