Hadoop2.x生态系统的常用框架

企业中的比较全面HADOOP的生态架构

HDFS ：分布式文件系统

YARN：分布式资源管理

MapReduce：离线计算框架

Spark：内存计算框架

Hive：数据仓库（HQL），提供一种类SQL的数据处理方法

Pig：一种数据流语言，用来快速轻松的处理巨大的数据

HBase：分布式数据库

Oozie：任务调度

Sqoop：数据转化工具

Flume：实时日志收集工具

Zookeeper：分布式服务框架

Cloudera Manager：一个Web界面的Hadoop管理系统来进行Hadoop相关服务的安装、配置和监控

Hue ：开源的Apache Hadoop UI系统（Python Web框架Django实现）

时间： 2024-10-14 08:01:05

Hadoop2.x生态系统的常用框架的相关文章

ios系统架构及常用框架

1.iOS基于UNIX系统,因此从系统的稳定性上来说它要比其他操作系统的产品好很多 2.iOS的系统架构分为四层,由上到下一次为:可触摸层(Cocoa Touch layer).媒体层(Media layer).核心服务层(Core Services layer).核心操作系统层(Core OS layer)如图: (1) 触摸层:为应用程序开发提供了各种常用的框架并且大部分框架与界面有关,本质上来说它负责用户在iOS设备上的触摸交互操作.它包括以下这些组件: Multi-Touch Event

关于jsp商城开发中一些常用框架的介绍

Struts跟Tomcat.Turbine等诸多Apache项目一样,是开源软件,这是它的一大优点,使java商城产品以及jsp商城开发者能更深入的了解其内部实现机制.除此之外,在 java商城开发中Struts的优点主要集中体现在两个方面:Taglib和页面导航.Taglib是Struts的标记库,比较灵活,能大大提高开发效率.另外,就目前国内的JSP开发者而言,除了使用JSP自带的常用标记外,很少开发自己的标记,或许Struts是一个很好的起点.struts历经6年多的发展,是目前用户数最

iOS第三方Api及常用框架总结

iOS常用框架汇总: SVProgressHUD:产生覆盖层,禁止某种操作 SDWebImage: 专业下载图片框架 AFN:网络数据请求框架 MJExtension,模型对象之间互转 facebook/pop:各种动画的实现第三方库 :推送:继承激光推送定位:百度地图集成支付:支付宝人脸识别:http://www.faceplusplus.com.cn/ 短信验证:http://sms.mob.com/#/sms 数据存储:https://leancloud.cn/?

js常用框架

JS常用框架:jQuery.Prototype.MooTools 参考:w3cshool jQuery jQuery 是目前最受欢迎的 JavaScript 框架. 它使用 CSS 选择器来访问和操作网页上的 HTML 元素(DOM 对象). jQuery 同时提供 companion UI(用户界面)和插件. $符号是jquery的选择器核心.详细见w3cshool jQuery 教程 Prototype Prototype 是一种库,提供用于执行常见 web 任务的简单 API. API 是

11中常用框架模式

11中常用框架模式 1. 提供程序模式使其功能变灵活. 实现延伸到外部,暴露给客户端. 个性化扩展需求. 2. 链式编程模式处理逻辑时流式,连贯的. 大的功能或者问题域分解为小的问题,每个问题域之间没有前后依赖关系. 传统方式或者扩展方法实现,传统方法返回本this. 一般用于验证处理. 3. 管道模式抽象出一个逻辑管道,信息从一端进入,中间经过定制环节处理,从另一端出去. 管道从复杂程度分为带有客户端和服务端的凹形管道,一般处理复杂的消息处理,另一种是类型队列的直线管道模型,一般用来做消

iOS常用框架源码分析

SDWebImage NSCache 类似可变字典,线程安全,使用可变字典自定义实现缓存时需要考虑加锁和释放锁在内存不足时NSCache会自动释放存储的对象,不需要手动干预 NSCache的key不会被复制,所以key不需要实现NSCopying协议第三方框架网络 1.PPNetworkHelper 对AFNetworking 3.x 与YYCache的二次封装简单易用,包含了缓存机制,控制台可以直接打印json中文字符 2..YTKNetwork 猿题库研发团队基于AFNetworki

常用框架、库

库和框架的区别: 库是将代码集合成的一个产品,供程序员调用.开发者在使用库的时候只需要使用库的一部分类或函数,然后继续实现自己的功能. 框架则是为解决一个或一类问题而开发的产品.开发者必须使用框架的全部代码. 可以说框架时库的升级版. AugularJS是一个MVC类型的框架,它提供了模型和视图之间的双向数据绑定.该数据绑定允许每当数据改变时,两边自动更新.它使你能够构建可复用的视图组件.它提供了一个服务框架,使得后端-前端服务通信更容易.最后,他只是普通的js. 何时使用:当你正在构建一个复杂

JAVA基础知识整理常用框架

JAVA反射---相关资料: 1.Java反射机制可以让我们在编译期(Compile Time)之外的运行期(Runtime)检查类,接口,变量以及方法的信息 2.反射还可以让我们在运行期实例化对象,调用方法,通过调用get/set方法获取变量的值. 参考框架:Butterfly Persistence 构建这里搜集了用来构建应用程序的工具. Apache Maven:Maven使用声明进行构建并进行依赖管理,偏向于使用约定而不是配置进行构建.Maven优于Apache Ant.后者采用了一种