传统数据仓库架构与Hadoop的区别

很多人不明白传统架构和Hadoop的区别,下面一张图让你清晰的了解传统架构和Hadoop的区别。

上图已经表达的很清楚了我就不再一一讲解,主要讲以下横向扩展和扩展。
横向扩展:(Mpp 是hash分布,具有20节点)添加新的设备和现有的设备一起提供负载能力。
Hadoop中系统扩容时,系统平台增加新节点之后,系统自动在所有节点之间均衡数据。
纵向扩展:(oracle两个节点)向上扩展,指的是替换掉已经不能满足需求的硬件设备、采购更高性能的硬件设备,从而提升系统的负载能力。

原文地址:https://www.cnblogs.com/zzjhn/p/10563148.html

时间: 2024-10-09 22:53:36

传统数据仓库架构与Hadoop的区别的相关文章

超融合架构与传统IT架构的区别

选择超融合其实是选择一种对效率的提升方式,从某种程度上讲,超融合类似于动车组车厢,每个车厢都将存储.网络.计算融合在一起以保证数据计算存储传输的高效一致性,在扩容.提升算力等方面只需增加节点.模块即可,这解决了业务发展.业务规模.IT维护与规模投资等不确定性带来的成本风险. 从超融合技术产生以来,从虚拟化分布式存储解决方案开始,逐步向相关上下游扩展,以实现真正的“超融合”.起初,各超融合厂商从各自的硬件设备出发,通过单一硬件设备的快速部署设施方向以实现超融合的目的,后来随着软件定义虚拟解决方案的

用HAWQ轻松取代传统数据仓库(十四) —— 高可用性

一.HAWQ高可用简介 HAWQ作为一个传统数仓在Hadoop上的替代品,其高可用性至关重要.通常硬件容错.HAWQ HA.HDFS HA是保持系统高可用时需要考虑并实施的三个层次.另外实时监控和定期维护,也是保证集群所有组件健康的必不可少的工作.        总的来说,HAWQ容错高可用的实现方式包括: 硬件冗余 master镜像 双集群 1. 硬件级别的冗余(RAID和JBOD) 硬件组件的正常磨损或意外情况最终会导致损坏,因此有必要提供备用的冗余硬件,当一个组件发生损坏时,不中断服务.某

马蜂窝数据仓库架构实践

http://km.ciozj.com/Detail.Aspx?AI=98315&CI=2 数据中台的概念非常接近传统数据仓库+大数据平台的结合体.它是在企业的数据建设经历了数据中心.数据仓库等积累之后,借助平台化的思路,将数据更好地进行整合与统一,以组件化的方式实现灵活 Part.1 马蜂窝数据仓库与数据中台 最近几年,数据中台概念的热度一直不减.2018 年起,马蜂窝也开始了自己的数据中台探索之路. 数据中台到底是什么?要不要建?和数据仓库有什么本质的区别?相信很多企业都在关注这些问题. 我

用HAWQ轻松取代传统数据仓库(十一) —— 数据管理

一.基本操作1. INSERT        在常用的增删改查数据库操作中,HAWQ仅支持INSERT和SELECT两种,不支持UPDATE和DELETE,这主要是因为HDFS是一个只能追加数据而不能更新的文件系统.SELECT语句最熟悉不过,它应该是数据库中最常用的语句了,在下一篇"查询优化"时再进一步讨论.INSERT语句用于创建表行,该命令需要表名和表中每个列的值.在HAWQ中,该命令有四种用法,其中三种是SQL中的常规用法,另一种是对标准SQL的扩展.(1)指定列名与列值   

Flume在企业大数据仓库架构中位置及功能

Flume在企业大数据仓库架构中位置及功能 hadoop 数据仓库 flume 数据仓库架构 1.如下图所示,外部数据中,关系型数据库导入到HDFS用sqoop,由Nginx产生的文件实时监控用Flume获得. 在HDFS或Hbase中,如果要进行实时查询用Impala(内存),如果是分析可以用Hive,Mapreduce分析.用Oozie来调用工作流执行任务. 2.左边是数据的来源:系统日志文件,应用文件(应用系统收集APP产生的日志),点击流(点击产生的日志),销售点(订单信息).通过Flu

数据仓库架构设计

一. 数据仓库架构,是IT架构的一个分支,随着数据在企业的核心作用的增强,数据仓库的架构日益重要.数据仓库架构由于其技术选择非常广泛,看上去复杂,不过背后有一套比较稳定的思路,这也是数据仓库架构设计的一个要点,稳定中蕴含变化,变化中蕴含稳定. 总 体来说,数据仓库架构分成两大块,一是硬件架构,二是软件架构.硬软架构又可以分成封闭式和开放式.封闭式硬件架构代表厂商有teradata,其硬件是 专属的,必须使用特殊的硬件才能运行.开放式硬件架构的代表有oracle,可以运行在各种硬件上,不过开放和封

基于阿里云数加MaxCompute的企业大数据仓库架构建设思路

摘要: 数加大数据直播系列课程主要以基于阿里云数加MaxCompute的企业大数据仓库架构建设思路为主题分享阿里巴巴的大数据是怎么演变以及怎样利用大数据技术构建企业级大数据平台. 本次分享嘉宾是来自阿里云大数据的技术专家祎休 背景与总体思路 数据仓库是一个面向主题的.集成的.非易失的.反映历史变化的数据集合用于支持管理决策. 原文链接:http://click.aliyun.com/m/43803/ 数加大数据直播系列课程,主要以基于阿里云数加MaxCompute的企业大数据仓库架构建设思路为主

软件构架、架构和框架的区别

软件框架(Software Framework)介绍 面向某领域(包括业务领域,如ERP,和计算领域,如GUI)的.可复用的"半成品"软件,它实现了该领域的共性部分,并提供一系列定义良好的可变点以保证灵活性和可扩展性.可以说,软件框架是领域分析结果的软件化,是领域内最终应用系统的模板. 随着软件规模的扩大.应用的广泛和软件复用技术的发展,以子程序或类(Class)为单位的软件复用有许多不足:(1)子程序库日趋其庞大以致于使用人员难以掌握,(2)大多数类粒度很小,且其自身往往不能完成有用

4、传统三层架构与DDD分层架构

4.传统三层架构与DDD分层架构 模型是抽象的 现实是形象的 技巧是重要的 思想是永恒的 从传统三层架构与DDD分层架构的编程演变其实是思想的演变. 传统三层架构,即用户界面层UI.业务逻辑层BAL.数据访问层DAL.一般同时还有建立一个Model实体类的工程项目.DDD分层架构,即表现层UI.应用层Application.领域驱动层Doman.基础设施层Infrastructure. 传统三层架构,我一直使用.结构单一.逻辑也清晰,三层各处理各自的事务,上层向下层引用接口与方法,下层向上层提供