Java程序员在用的大数据工具,MongoDB稳居第一!

据日前的一则大数据工具使用情况调查,我们知道了Java程序猿最喜欢用的大数据工具。

问题:他们最近一年最喜欢用什么工具或者是框架?

受访者可以选择列表中的选项或者列出自己的,本文主要关心的是大数据工具。上一篇Java调查包括下列内容:

  1. 开发语言
  2. Web框架
  3. 应用服务器
  4. 数据库工具
  5. SQL数据
  6. 大数据
  7. 开发工具
  8. 云供应商

现在,来看看维基百科上对大数据的定义:

大数据,广义上来说是一组量很大很复杂的数据集合,在这种情况下传统的数据处理方式将不再适用。

对于一般情况来说传统的SQL数据库足够用。再另外一些场景下,传统的数据库能够承载的数据库量级有限,并且现在有了越来越多的工具可供使用。关键取决于场景。
现在让我们来讨论不同的非SQL工具来存储/处理数据 - NoSQL数据库、内存缓存、全文搜索引擎、实时流媒体、图形数据库等。

大数据-调查结果

    • MongoDB-一种非常流行的、跨平台、面向document的数据库。
    • Elasticsearch-专为云计算设计的分布式REST风格的搜索引擎。
    • Cassandra-一个开源的分布式数据库管理系统。最初是Facebook设计和开发的,部署在大量商用服务器上来处理大量的数据。高可用,无单点故障。
    • Redis-开源的(BSD)内存数据结构存储、内存库、缓存、消息代理。
    • Hazelcast-基于Java开发的内存数据网格。
    • EHCache-广泛使用的开源Java分布式缓存、J2ee、轻量级容器。
    • Hadoop-用java开发的开源分布式大数据框架,用来处理非常大规模数据,hadoop是集群化部署。
    • Solr-使用java开发的开源企业级搜索平台。最初归属在Apache Lucene项目中。
    • Spark-ASF中最活跃的项目,是一个开源的集群化计算框架。
    • Memcached–通用分布式缓存系统。
    • Apache Hive-在Hadoop支持类SQL封装,将SQL语句变成mr程序来执行。
    • Apache Kafka–高吞吐量、分布式、消息发布-订阅系统,最早是Linkin开发的。
    • Akka–Java开发的用来建造高并发,基于jvm弹性消息驱动的应用。
    • Hbase-根据Google的BigTable论文开发的开源分布式非关系型数据库。开发语言是Java,用HDFS作为底层存储。
    • Neo4j–用Java实现的开源图形数据库。
    • CouchBase–面向Document的开源分布式NoSQL数据库,并且针对交互应用做过优化。
    • Apache Storm–开源分布式实时计算系统。
    • CouchDB–使用json来存储数据的开放源码面向文档的NoSQL数据库。
    • Oracle Coherence–内存数据网格解决方案,使企业通过提供快速访问热数据来预测关键任务应用的规模。
    • Titan–可扩展的图形数据库,针对集群存储和查询数千亿的图形数据做过优化。
    • 亚马逊 DynamoDB – 一个快速、灵活NoSQL数据库,能够应对所有规模应用程序的需求,包括持久化、毫秒级延迟。
    • Amazon Kinesis–AWS上的实时数据计算平台。
    • Datomic–提供完整事务支持,云计算,分布式的数据库,开发语言用Clojure。
时间: 2024-10-14 19:51:50

Java程序员在用的大数据工具,MongoDB稳居第一!的相关文章

为什么很多Java程序员都转行做大数据了?

如今大数据发展的越来越成熟.各大企业纷纷成立大数据部门.尤其BAT等一线互联网公司每天处理的数据量都是TB级别.大数据部门已成为这些企业的核心部门,数据已成为企业最核心的资产. 但是大数据人才缺口巨大,据统计目前全国的大数据人才仅46万,未来3-5年内大数据人才的缺口将高达150万. 因此大数据工程师薪资也比其他职位高出不少.以北京为例.1-3年的大数据工程师平均年薪30-50万,3-5年经验的大数据工程师年薪在50-80万.想学习的同学欢迎加入大数据学习扣群:458345782,有大量干货(零

【LINK】程序员想玩转大数据:需要知晓的12种工具

http://www.csdn.net/article/2012-12-20/2813054-Database http://blog.csdn.net/qjfpjie/article/details/8439119 [LINK]程序员想玩转大数据:需要知晓的12种工具

程序员想玩转大数据:需要知晓的12种工具

转自 :http://www.csdn.net/article/2012-12-20/2813054-Database 无论是在构建大数据的应用程序,还是仅仅只想从开发的移动应用中得到一点点启发,程序员现在比以往任何时候都需要数据分析工具.这绝对是一个好东西,所以很多公司从程序员的需求和技能出发,构建了一些数据分析工具.GigaOm的记者Derrick Harris列举了十二个工具,CSDN进行了编译整理: 在过去的几年里,Derrick看到了很多初创公司,各类项目以及开发工具等等,它们都旨在为

Java程序员必备的 15框开发工具

15款Java程序员必备的开发工具 如果你是一名Web开发人员,那么用膝盖想也知道你的职业生涯大部分将使用Java而度过.这是一款商业级的编程语言,我们没有办法不接触它. 对于Java,有两种截然不同的观点:一种认为Java是最简单功能最强大的编程语言之一,另一种则表示这种编程语言既难用又复杂. 下面这些工具或许功能和作用不同,但是有着一个共同的主旨,那就是——它们都是为了给Java编码和开发提供卓越的支持. 1. JDK(Java开发工具包) 如果你打算用Java开发一些小程序和应用程序,那么

Java 程序员必备的10款开源工具

Java世界中存在许多工具,从Eclipse,NetBeans和IntelliJ IDEA等著名的IDE开始到Java开发人员应该知道的JVM分析和监视工具,如JConsole,VisualVM,Eclipse Memory Analyzer等. 如果你是一位经验丰富的Java开发人员,你可能对这些工具很熟悉,但如果不是,现在就是是开始学习这些工具的好时机. 在本文中,我将重点介绍适用于各种Java开发人员的通用工具,例如核心Java 开发人员和Web开发人员. JIRA Atlassian的J

程序员入门必备的大数据开发实战系列丛书

想要入行大数据却不知从哪里开始?作为入行十年的码农为大家推荐一套"一站式实战型大数据应用开发学习指导"丛书,帮助读者踏上由开发入门到大数据实战的"互联网+大数据"开发之旅! 此套丛书以实用性.案例丰富见长.由国内知名的IT教育机构课工场创始人肖睿主编,人民邮电出版社出版.编撰此书时为满足企业对人才的技能需求,课工场大数据开发教研团队,通过对数百位BAT一线技术专家进行访谈.上千家企业人力资源情况进行调研.上万上企业招聘岗位进行需求分析,在此基础上,整合了大量案例说明

5款Java程序员必须了解的错误跟踪工具

随着Java生态系统的发展,用户性能需求的提高,一类新的开发工具应运而生.与传统方法相比,它们既可以满足在一个快节奏的环境中快速部署所需要的错误跟踪需求,又能在一个更深的层面上观察应用程序的行为.近日,软件分析公司Takipi汇总介绍了五款这样的工具. Raygun是一款基于Web的错误管理系统,用于跟踪应用程序异常.它支持多种桌面.移动和Web编程语言,包括Java.Scala..NET.Python.PHP和JavaScript,其主要特点如下: 错误分组——同一Bug多次出现会显示在同一个

越来越多的Java程序员转行Java大数据...

JAVA的精密,强大,拥有其它语言不可替代的性能和可维护性,早已经是成为最受欢迎的编程语言之一,很多人想进入IT行业,首选的第一门语言就是JAVA. 但是,在未来肯定是大数据的天下,人工智能的爆发,将会有大量企业会进入大数据领域,从而产生大量的大数据人才需求. 据最新发布的<大数据人才报告>显示,目前全国的大数据人才仅46万,未来3-5年内大数据人才的缺口将高达150万.领英报告表明,数据分析人才的供给指数最低,仅为0.05,属于高度稀缺.数据分析人才跳槽速度也最快,平均跳槽速度为19.8个月

Java程序员那么多,如何才能脱颖而出?

JAVA的精密,强大,拥有其它语言不可替代的性能和可维护性,早已经是成为最受欢迎的编程语言之一,很多人想进入IT行业,首选的第一门语言就是JAVA.但是,在未来10年肯定是大数据的天下,人工智能的爆发,将会有大量企业会进入大数据领域,而从JAVA程序员转JAVA大数据就会有天然的优势,因为目前大数据的架构基本都是用JAVA语言完成,未来10年,JAVA大数据的需求量会越来越大. 现在学习JAVA的小伙伴,如果想以后不被淘汰,将来势必会进军大数据行列,根据目前的行业动态,JAVA程序员由于发展的局