Sqoop1.X 和 Sqoop2架构区别

Sqoop1vs Sqoop2

sqoop是什么？

1：两个不同版本，完全不兼容

2：版本号划分方式

Apache：1.4.x~ ，1.99.x~

CDH：sqoop-1.4.3-cdh4,sqoop2-1.99.2-cdh4.5.0/

3：Sqoop2比Sqoop1的改进

引入sqoop server，集中化管理Connector等

多种访问方式：CLI，Web UI，REST API

引入基于角色的安全机制

4：Sqoop1的架构：

5：Sqoop2架构

6： Sqoop2架构优点

1): 多种交互方式

命令行、Web UI、REST API

2): Connector集中化安装

所有Connector安装在Sqoop Server上

3):  权限管理机制

可配置管理员、使用者等角色

4): Connector规范化

不再包含数据传输，格式转换、与Hive、Hbase交互等功能

仅负责数据读写

时间： 2024-10-11 21:34:41

Sqoop1.X 和 Sqoop2架构区别的相关文章

浅析安卓和苹果的架构区别，为何苹果顺畅安卓卡？适合新手理解

iOS对屏幕反应的优先级是最高的,它的响应顺序依次为Touch--Media--Service--Core架构,当用户触摸接触了屏幕时,系统最先去处理屏幕显示也就是Touch这个层级,然后才是媒体.服务以及Core架构等.而Android系统的优先级响应层级则是Application--Framework--Library--Kernal架构,和显示相关的图形处理属于Library,被“放到”了第三位.一句话概念就是,当你触摸屏幕之后Android系统首先会激活应用框架,然后是屏幕,最后是核心架

C/S和B/S两种架构区别与优缺点分析

C/S和B/S,是再普通不过的两种软件架构方式,都可以进行同样的业务处理,甚至也可以用相同的方式实现共同的逻辑.既然如此,为何还要区分彼此呢?那我们就来看看二者的区别和联系. 一.C/S 架构 1. 概念 C/S 架构是一种典型的两层架构,其全程是Client/Server,即客户端服务器端架构,其客户端包含一个或多个在用户的电脑上运行的程序,而服务器端有两种,一种是数据库服务器端,客户端通过数据库连接访问服务器端的数据:另一种是Socket服务器端,服务器端的程序通过Socket与客户端的程序

MVC与三层架构区别之我见

我是刚学习MVC和三层架构不久,通过学习,对MVC与三层架构也大概了解了一些,我来谈谈我对MVC与三层结构之间的区别.如果有什么不对的地方,烦请各位指出,谢谢! 好了,回到正题... 首先,我们可以先从逻辑上区分,举个不恰当的例子:就拿房屋来说,三层架构就像房屋的基本结构,MVC就像你理想的房子设计图. 接下来,我再具体谈谈三层结构和MVC... (一)三层架构 1.通常意义上的三层架构就是将整个业务应用划分为:表现层(UI).业务逻辑层(BLL).数据访问层(DAL). 2.区分层次的目的即为

C/S与B/S架构 区别·与优点

C/S和B/S,是再普通不过的两种软件架构方式,都可以进行同样的业务处理,甚至也可以用相同的方式实现共同的逻辑.既然如此,为何还要区分彼此呢?那我们就来看看二者的区别和联系. 一.C/S 架构 1. 概念 C/S 架构是一种典型的两层架构,其全程是Client/Server,即客户端服务器端架构,其客户端包含一个或多个在用户的电脑上运行的程序,而服务器端有两种,一种是数据库服务器端,客户端通过数据库连接访问服务器端的数据:另一种是Socket服务器端,服务器端的程序通过Socket与客户端的程序

(转)MVC与三层架构区别

我们平时总是将三层架构与MVC混为一谈,殊不知它俩并不是一个概念.下面我来为大家揭晓我所知道的一些真相. 首先,它俩根本不是一个概念. 三层架构是一个分层式的软件体系架构设计,它可适用于任何一个项目. MVC是一个设计模式,它是根据项目的具体需求来决定是否适用于该项目. 那么架构跟设计模式有什么区别呢? 我们从接手一个项目开始,首先,我们需要进行架构设计,一般我们采用的就是分层式的架构设计,即我们的三层架构. 然后,在确定了架构以后,我们再根据项目的具体需求去考虑是否需要应用一些设计模式,比如是

CS与BS架构区别、比较、及现状与趋势分析

转自 http://www.cnblogs.com/engeng/articles/5976292.html 一.简介 CS即Client/Server(客户机/服务器)结构,C/S结构在技术上很成熟,它的主要特点是交互性强.具有安全的存取模式.网络通信量低.响应速度快.利于处理大量数据.但是该结构的程序是针对性开发,变更不够灵活,维护和管理的难度较大.通常只局限于小型局域网,不利于扩展.并且,由于该结构的每台客户机都需要安装相应的客户端程序,分布功能弱且兼容性差,不能实现快速部署安装和配置,因

Asp.net中WebForm 与 MVC的架构区别

ASP.NET Webform 后台代码(behind code) 这种behind code 模式有5个问题,我们用MVC的设计思想来分别解决这些问题 1.基于视图的方案来解决基于行为的需求 从上图可以看出,整个请求过程看上去很奇怪: 用户发起一个HTTP请求,比如HTTP POST / GET IIS服务器将请求映射到视图 视图调用页面的生命周期,通过事件驱动,调用合适的交互方法 最后将交互的结果展现给终端用户 因为微软一开始就选择了基于视图的设计方案,所以架构本身很难向基于用户交互的设计思

如何将mysql数据导入Hadoop之Sqoop安装

Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql.postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中.Sqoop项目开始于2009年,最早是作为Hadoop的一个第三方模块存在,后来为了让使用者能够快速部署,也为了让开发人员能够更快速的迭代开发,Sqoop独立成为一个Apache项目. 总之Sqo

C/S与B/S架构的区别和优缺点

C/S 架构的概念 C/S是Client/Server,即客户端/服务器端架构,一种典型的两层架构. 客户端包含一个或多个在用户的电脑上运行的程序 服务器端有两种,一种是数据库服务器端,客户端通过数据库连接访问服务器端的数据:另一种是Socket服务器端,服务器端的程序通过Socket与客户端的程序通信. C/S 可以看做是胖客户端架构 因为客户端需要实现绝大多数的业务逻辑和界面展示.作为客户端的部分需要承受很大的压力,因为显示逻辑和事务处理都包含在其中, 通过与数据库的交互(通常是SQL或存储