开源分布式系统

开源分布式系统的相关文章

Druid：一个用于大数据实时处理的开源分布式系统

Druid是一个用于大数据实时查询和分析的高容错.高性能开源分布式系统,旨在快速处理大规模的数据,并能够实现快速查询和分析.尤其是当发生代码部署.机器故障以及其他产品系统遇到宕机等情况时,Druid仍能够保持100%正常运行.创建Druid的最初意图主要是为了解决查询延迟问题,当时试图使用Hadoop来实现交互式查询分析,但是很难满足实时分析的需要.而Druid提供了以交互方式访问数据的能力,并权衡了查询的灵活性和性能而采取了特殊的存储格式. Druid功能介于PowerDrill和Dremel

阿里巴巴73款开源产品列表,值得收藏

一.框架 react-web:ReadtWeb 是为那些使用 React Native 兼容的 API 构建的 Web 应用而提供的一个框架.React Web的目的及意义非常明确: 让 React Native 代码跑在 Web上让一套代码运行在各个移动终端,对前端及业务来说,这是开发效率中一个质的提升. Jstrom:"JStorm是参考 storm 的实时流式计算框架,在网络 IO.线程模型.资源调度.可用性及稳定性上做了持续改进,已被越来越多企业使用.经过 4年发展,阿里巴巴 JStor

2016阿里巴巴73款开源产品全向图

摘要: 受益开源,就当回馈.面对阿里头顶上“贡献开源软件数目第一”的光环,我们清醒地认知阿里开源的目的:阿里开源不是到业内“秀肌肉”,更不是自卖自夸:阿里之所以选择开源是因为开源是孵化新技术领域的容器,更是技术演进的最大推动力. 阿里巴巴集团已经开源 115 个项目,加入 FSF 基金会.Apache 基金会.Linux 基金会和 Xen 的顾问团队,并在云栖大会北京峰会宣布 AliSQL 开源. 为了让大家能更好,更全面的了解和应用上阿里开源项目, 云栖社区特别制作了一张“2016 阿里开源全

对当前主流大数据量自助多维分析开源项目的调研

l  presto Presto是Facebook开发的分布式大数据SQL查询引擎,专门进行快速数据分析. 特点: 可以将多个数据源的数据进行合并,可以跨越整个组织进行分析. 直接从HDFS读取数据,在使用前不需要大量的ETL操作. 查询原理: 完全基于内存的并行计算 流水线 本地化计算 动态编译执行计划 小心使用内存和数据结构 类BlinkDB的近似查询 GC控制 架构图: Presto实现原理和美团的使用实践 http://tech.meituan.com/presto.html Prest

.Net开源框架列表

API 框架 NancyFx:轻量.用于构建 HTTP 基础服务的非正式(low-ceremony)框架,基于.Net 及 Mono 平台.官网 ASP.NET WebAPI:快捷创建 HTTP 服务的框架,可以广泛用于多种不同的客户端,包括浏览器和移动设备.官网 ServiceStack:架构缜密.速度飞快.令人愉悦的 web 服务.官网 Nelibur:Nelibur 是一个使用纯 WCF 构建的基于消息的 web 服务框架.Nelibur 可以便捷地创建高性能.基于消息的 web 服务,使

【Todo】【转载】全栈工程师-Hadoop, HBase, Hive, Spark

学习参考这篇文章: http://www.shareditor.com/blogshow/?blogId=96 机器学习.数据挖掘等各种大数据处理都离不开各种开源分布式系统, hadoop用于分布式存储和map-reduce计算, spark用于分布式机器学习, hive是分布式数据库, hbase是分布式kv系统, 看似互不相关的他们却都是基于相同的hdfs存储和yarn资源管理, 本文通过全套部署方法来让大家深入系统内部以充分理解分布式系统架构和他们之间的关系.

RPC通信框架——RCF介绍（替换COM）

阅读目录 RPC通信框架 为什么选择RCF 简单的性能测试 参考资料 总结 现有的软件中用了大量的COM接口,导致无法跨平台,当然由于与Windows结合的太紧密,还有很多无法跨平台的地方.那么为了实现跨平台,支持Linux系统,以及后续的分布式,首要任务是去除COM接口. 在对大量框架进行调研后,决定使用RCF替换COM接口. 回到顶部 RPC通信框架 CORBA ICE Thrift zeromq dbus RCF YAMI4 TAO 回到顶部 为什么选择RCF 经过各项对比,认为: RCF

一些关于应用级别监控的总结

1. 采集多样化的必要性,通俗的说就是把软硬件的指标放在一起去比较. 有时候我们关注应用的运行状态不仅仅要采集应用的各项指标,有时候还需要了解同一时间该应用运行环境(容器.虚拟机.硬件)的关键指标.然而应用层与其运行环境本身异构,所以采集工具并不相同.比如,我们用openTSDB去监控我的一个web程序,而用ganglia去监控了它所在的服务器,其实我们很多时候更加关注软硬件指标在同一时刻时的表现,切来切去太不直观了.这样问题就来了,两种不同的工具分别展示在不同的页面上,能不能把Web程序的指标

RPC通信框架——RCF介绍

现有的软件中用了大量的COM接口,导致无法跨平台,当然由于与Windows结合的太紧密,还有很多无法跨平台的地方.那么为了实现跨平台,支持Linux系统,以及后续的分布式,首要任务是去除COM接口. 在对大量框架进行调研后,决定使用RCF替换COM接口. RPC通信框架 CORBA ICE Thrift zeromq dbus RCF YAMI4 TAO 为什么选择RCF 经过各项对比,认为: RCF的使用方式与现有的COM接口方式非常类似,在开发上可以更快速.更容易的替换COM,并且可以少犯错