阿里云大数据架构专业术语

来自大神:http://pengoneeast.blog.163.com/blog/static/55045403201526111648857/

负载均衡(Server Load Balancer,简称SLB)是对多台云服务器进行流量分发的负载均衡服务。SLB可以通过流量分发扩展应用系统对外的服务能力,通过消除单点故障提升应用系统的可用性。

SLB基本概念

  • SLB服务主要由3个基本概念组成。

    1. LoadBalancer代表一个SLB实例
    2. Listener代表用户定制的负载均衡策略和转发规则
    3. BackendServer是后端的一组ECS。
    4. 来自外部的访问请求,通过SLB实例并根据相关的策略和转发规则分发到后端ECS进行处理。

slb核心概念如图示

SLB术语表

术语 全称 中文 说明
SLB Server Load Balancer 负载均衡服务,简称SLB服务。 阿里云计算提供的一种网络负载均衡服务,可以结合阿里云提供的ECS服务为用户提供基于ECS实例的TCP与HTTP负载均衡服务。
LoadBalancer Load Balancer 负载均衡服务实例,简称SLB实例。 SLB实例可以理解为SLB服务的一个运行实例,用户要使用SLB服务,就必须先创建一个SLB实例,LoadBalancerId是识别用户SLB实例的唯一标识。
Listener Listener 负载均衡服务监听。 负载均衡服务监听,包括监听端口、负载均衡策略和健康检查配置等,每个监听对应后端的一个应用服务,一个SLB实例最多支持10个监听配置。
BackendServer Backend Server 后端服务器。 接受SLB分发请求的一组ECS,SLB服务将外部的访问请求按照用户设定的规则转发到这一组后端ECS上进行处理。
Address Address 服务地址 系统分配的服务地址,当前为IP地址。用户可以选择该服务地址是否对外公开,来分别创建公网和私网类型的SLB服务。

云服务器是什么

云服务器实例(简称ECS实例)是一个虚拟的计算环境,包含CPU、内存等最基础的计算组件,是云服务器呈献给每个用户的实际操作实体。

ECS实例是云服务器最为核心的概念,下面描述的磁盘、IP等只有与ECS实例结合后才有使用意义的。

在使用云服务器时,您会接触到一些名词,有的您已经很熟悉了,有的相对来说会少见一些。这些名词所代表的产品概念组合起来,构成完整的云服务器产品。下面是这些名词及其代表的含义:

  • 地域(Region)指的是ECS实例所在的物理位置。您可以根据您的客户群体分布的不同选择不同地域的云服务器服务。针对中国境内,目前可供选择的地域有杭州、青岛、北京、深圳;针对海外,目前可供选择的地域有香港。地域内的ECS实例内网是可以互通的,不同地域之间的ECS实例内网不互通。
  • 可用区(Zone)是指在同一地域内,电力和网络互相独立的物理区域。同一可用区内的ECS实例网络延时更小。在同一地域内可用区与可用区之间内网互通,可用区之间能做到故障隔离。如果您的应用需要较高的容灾能力,建议您将ECS实例部署在同一地域的不同可用区内;如果您的应用在实例之间需要较低的网络时延,则建议您将ECS实例创建在相同的可用区内。
  • ECS实例的规格定义了实例的CPU、内存的配置。
  • 镜像(Image)是ECS实例运行环境的模板,一般包括操作系统和预装的软件。您可以选择阿里云官方提供的镜像(支持Linux和Windows的多个发行版本),也可以根据拥有的ECS实例创建自己的自定义镜像,或者去镜像市场选择第三方服务商提供的镜像。
  • 磁盘(Disk)有云磁盘、独立云磁盘、本地磁盘、本地SSD盘等类型。存储在云磁盘上的数据安全性更高,独立云磁盘除了具有云磁盘的优点外,还可以在同一可用区内的ECS实例间自由挂载和卸载;相对云磁盘,本地磁盘则吞吐性能更好;本地SSD盘基于SSD存储,相比现有的云磁盘和本地磁盘有10倍~20倍的IO性能提升,能够满足IO密集型应用的高性能存储需求。本地磁盘和本地SSD盘的数据安全性比云磁盘低。
  • 快照(Snapshot)是磁盘上的数据在某一个时间点的拷贝,存储在开放存储服务(OSS)上。快照采用增量备份机制,只有磁盘上发生变化的数据块才会被拷贝到快照中。
  • IP:包含内网IP地址和公网IP地址。每个ECS实例默认包含一个内网IP地址,公网IP地址只有在购买了公网带宽之后才会分配。
  • 安全组(SecurityGroup)指定了一个或多个防火墙规则,规则包含容许访问的网络协议、端口、源IP等。防火墙规则对加入安全组的所有ECS实例生效,但加入同一个安全组的ECS实例相互之间的访问是不受规则限制的。
  • VPC
  • EIP, Private IP

云数据库RDS

云数据库(Relational Database Service,即关系型数据库服务,简称RDS)是阿里云提供的一种稳定可靠、可弹性伸缩的在线数据库服务。RDS采用即开即用方式,兼容MySQL、SQL Server两种关系型数据库,并提供数据库在线扩容、备份回滚、性能监控及分析等功能。

简要介绍

  • RDS的目标是将耗时费力的数据库管理任务承担下来,使用户能够专心于应用开发和业务发展。用户可根据业务需求对RDS进行弹性伸缩,RDS承诺99.95%的服务可用性和99.9999%的数据可靠性。
  • RDS目前提供MySQL和SQL Server两种关系型数据库,访问协议完全兼容。用户现有的数据库代码、应用等可直接应用在RDS上,减小重新开发成本。

基础架构

  • RDS采用主从备份架构,拥有3份以上数据存储,具备高可用性和数据可靠性。
  • RDS架构图

功能特点

  • 防DDoS攻击:当RDS为公网访问时,阿里云安全体系会自动判断RDS是否正在遭受DDoS攻击,并启动流量清洗的功能,若攻击达到黑洞阈值或清洗失效,将会进行黑洞处理。
  • SQL注入告警:RDS会通过解析SQL语句,判断是否遭受SQL注入攻击,并提示修改应用程序。
  • IP访问白名单:白名单可以使RDS实例得到最高级的访问安全保护;建议设置访问源IP地址或者IP段,最多设置100个。
  • 将数据迁移至RDS:RDS for MySQL提供在线迁移数据的方式,可以不停止原有数据库运行的情况下完成数据迁移操作;RDS for SQL Server提供上传备份文件迁移至RDS的迁移方式,可便捷的完成数据的导入操作。
  • 实例在线升级:RDS提供的在线升级服务,包括实例配置的升级和数据库版本的升级,升级过程无需用户介入。
  • 系统性能监控:RDS提供近20个系统性能的监控视图,如磁盘容量、IOPS、连接数、CPU利用率、网络流量等,用户可以轻松查看实例的负载。
  • 优化建议:RDS提供多种优化建议,如存储引擎检查、主键检查、大表检查、索引偏多、缺失索引等,用户可以根据优化建议并结合自身的应用来对数据库进行优化。
  • 备份管理:RDS自动提供多重备份,同时RDS支持用户通过RDS管理控制台或OPEN API灵活变更备份的时间。 数据回溯:RDS通过备份和日志,用户可以选择7天内的任意时间点创建一个临时实例,临时实例生成后验证数据无误,即可将数据迁移到RDS实例,从而完成数据回溯操作。

开放缓存服务(OCS,Open Cache Service)

开放缓存服务( Open Cache Service,简称OCS)是基于内存的缓存服务,支持海量小数据的高速访问。OCS可以极大缓解对后端存储的压力,提高网站或应用的响应速度。OCS支持Key-Value的数据结构,兼容Memcached协议的客户端都可与OCS通信。

OCS 支持即开即用的方式快速部署;对于动态Web、APP应用,可通过缓存服务减轻对数据库的压力,从而提高网站整体的响应速度。

与本地MemCache相同之处在于OCS兼容Memcached协议,与用户环境兼容,可直接用于OCS服务 不同之处在于硬件和数据部署在云端,有完善的基础设施、网络安全保障、系统维护服务。所有的这些服务,都不需要投资,只需根据使用量进行付费即可。

产品特点

OCS服务有如下特点:

  • 性能优越。缓存数据存储在内存中,数据访问迅速返回。
  • 服务可靠。当某台服务器宕机时,集群将迅速恢复服务,用户当前的客户端自动重连后即可恢复服务。
  • 安全保障。OCS仅支持ECS访问,并可以限制源服务器的IP地址,避免外部攻击。
  • 弹性伸缩。当业务规模发生变化时,用户可随时根据需要修改OCS实例的配置,并且在配置变更过程中,OCS实例不会停止服务,您的客户端程序也不必修改。
  • 管理透明。OCS是一个开箱即用的服务,阿云的OCS团队负责OCS产品的管理,包括日常维护、软硬件故障处理、补丁更新等工作,让您专注于保障服务的健康有效。
  • 兼容性。兼容memcache binary protocol,符合该协议的客户端(binary SASL)都可使用OCS。

DRDS产品概要

单机数据库能够方便的满足用户对于关系查询类的需求,是目前业务应用中最常使用的软件。然而,对于很多应用而言,单机数据库最终都会碰到单机性能上的天花板,在TPS/QPS/内存容量/磁盘容量等等一系列系统资源上会碰到各类限制。

DRDS的主要目标,就是帮您解决这方面的各类问题,他主要提供了两个功能:读写分离和数据库切分。

读写分离,能够允许您实现一台机器写入,多台机器读取,这对于读多写少的应用,能够以极低的成本解决系统的瓶颈

数据库切分是一个解决系统存储瓶颈的最终极解决方案,数据库切分的核心思想其实很简单,就是分而治之。将数据分散到多台机器,并保证请求能够平均的分发到这些机器上,就可以以极低的成本来解决业务的各类性能瓶颈。

当然,切分也是有代价的,最明显的代价就是,分布式数据库会对一些原有单机数据库的场景进行限制,因为这些操作,在分布式环境下的延迟或效率非常低效,就算是能够实现出来,也会因为性能问题而无法使用。

针对这类问题,阿里的中间件团队曾经成功的协助过近300个业务应用系统实现了数据库的切分,因此,我们在这个领域内积累了大量的实战经验和成熟的产品,希望这类产品也能够为您提供相同的服务,让您的数据库再也不必担心性能问题。

阿里云键值存储(Aliyun KVStore,Key-Value Store)

阿里云键值存储(Aliyun Key-Value Store,简称KVStore)是兼容开源Redis协议的Key-Value类型在线存储服务。KVStore支持字符串(String)、链表(List)、集合(Set)、有序集合(SortedSet)、哈希表(Hash)等多种数据类型,及事务(Transactions)、消息订阅与发布(Pub/Sub)等高级功能。通过内存+硬盘的存储方式,KVStore在提供高速数据读写能力的同时满足数据持久化需求。

除此之外,KVStore作为云计算服务,其硬件和数据部署在云端,有完善的基础设施规划、网络安全保障、系统维护服务。所有这些都无需用户考虑,确保用户专心致力于自身业务创新。

产品特点

  • 简单易用

    • 服务开箱即用:支持即开即用的方式,购买之后即刻可用,方便业务快速部署
    • 兼容开源Redis:兼容Redis命令,任何Redis客户端都可以轻松与KVStore建立连接进行数据操作。
    • 可视化的管理监控面板:控制台提供多项监控统计信息,并可以进行管理操作。
  • 弹性扩容
    • 存储容量一键扩容:用户可根据业务需求通过控制台对实例存储容量进行调整(公测期间需申请开通)
    • 在线扩容不中断服务:调整实例存储容量可在线进行,无需停止服务,不影响用户自身业务
  • 高可用
    • 每个实例均有主从双节点:避免单点故障引起的服务中断
    • 硬件故障自动检测与恢复:自动侦测硬件故障并在数秒内切换,恢复服务
  • 高可靠
    • 数据持久化存储:内存+硬盘的存储方式,在提供高速数据读写能力的同时满足数据持久化需求。
    • 数据主从双备份:所有数据在主从节点上进行双备份。

产品功能

  • 支持丰富的数据类型 兼容开源Redis协议中定义的所有数据类型,如String,Hash,List,Set,SortedSet等,支持多种数据操作,充分满足业务需求
  • 持久化存储 内存+硬盘的存储方式,数据存储到物理磁盘,满足用户数据持久化需求
  • 支持消息通知机制 基于事件通知机制解耦消息发布者和消息订阅者之间的耦合,实现消息发布及订阅(PUB/SUB)功能,满足多个客户端使用者之间的互联互通。(参见示例)
  • 支持事务操作 支持Redis协议中定义的事务(Transaction)处理,实现单个客户端发送的多个命令组成的原子性操作。

简单日志服务(Simple Log Service,简称SLS)是针对日志收集、存储、查询平台化服务。服务提供各种类型日志的实时收集,平台化存储,海量日志实时查询,并可以将日志归档至ODPS,以利用ODPS做大数据分析。具体来说,SLS提供如下功能:

  1. 多种方式(API、SDK及Logtail接入服务)的日志写入途径
  2. 通过Logtail可以自由定义多种日志格式的收集以及解析方式
  3. 可以定义机器组管理数以千计机器上的日志收集
  4. 强大的日志实时收集以及快速处理能力:GB/秒级别;从日志收集到可查询的延时基本在1分钟内
  5. 针对海量日志的集中存储,且存储期限可按需配置
  6. 提供实时、灵活(支持查询语法)的日志查询能力
  7. 简单易用的控制台配置方式,所有操作都可以在Web端完成
  8. 后台与ODPS无缝衔接,提供将日志归档到用户ODPS表的功能

SLS与阿里云其他产品关系如下:

  • ECS:用户可以安装Logtail(SLS Agent)收集用户云主机上的各种日志数据。
  • 云盾:用户云主机上如已安装云盾,可以在SLS 控制台上直接点击通过云盾安装Logtail。
  • ODPS:SLS中收集的日志,可以自动归档到用户的ODPS表中,满足在线查询与离线分析的双重需求。

时间: 2024-11-10 07:48:57

阿里云大数据架构专业术语的相关文章

阿里云大数据三次技术突围:Greenplum、Hadoop和“飞天”

阿里云大数据三次技术突围:Greenplum.Hadoop和"飞天"  对于企业来说,到底什么是云计算?相信很多企业都有这样的困惑,让我们一起回到这个原始的起点探讨究竟什么是云计算?云计算对于企业而言到底意味什么? 云计算的三条发展路径及三种落地形态 当回到最初的起点再审视云计算的发展路径,可以发现,经过十余年的发展演进,云计算有三条发展路径,并且最终沉淀下来了三种落地形态. 第一条路:源自于谷歌对大规模数据的处理,谷歌为全球的互联网用户提供同一个服务--搜索,它需要将全世界所有的网站

调度、模型、同步与任务——阿里云大数据数仓建设性能优化方案

摘要:对于阿里云大数据数仓建设性能优化而言,主要可以从调度优化.模型优化.同步优化以及任务优化这四个方面着手.其实,对于性能优化而言,最终还是会归结到"资源"之上,所以资源是否足够,分配是否合理也是我们在进行性能优化时必须考虑的关键所在. 本文将主要围绕以下四个方面进行介绍:调度优化.模型优化.同步优化以及任务优化.对于调度优化而言,将分享任务调度如何进行优化,以及如何看到调度的瓶颈点,以及在初步进行建设和使用数据仓库的任务之后,对于任务如何进行调整来满足业务的时间要求.对于模型优化而

阿里云大数据总监:计算让城市更智能

摘要: 10月25日,2018中国计算机大会上举办了主题是智慧城市下个十年:智在"数"还是"术"的技术论坛.目前,城市已经具备了丰富多样的大数据积累,成体系的数据管理标准,开放自由的数据流动环境等重要基础,但对于已经同时掌握"数"据和技"术"的玩家,在许多城市和现实环境中,城市大数据管理和处理技术难以得到同步发展. 10月25日,2018中国计算机大会上举办了主题是智慧城市下个十年:智在"数"还是"

互联网行业对于数据的专业术语

淘宝:数据魔方 京东:数据罗盘 Ali B2B:数据江湖 & 数据门户 支付宝还叫过如下几个: 观星台(数据趋势) 地动仪(指标预警) 量天尺(指标统一) 黄金策(用户分析与选取) 互联网行业对于数据的专业术语

阿里云大数据MaxCompute计算资源分布以及LogView分析优化

摘要: 海量数据处理平台,服务于批量结构化数据的存储和计算,提供海量数据仓库的解决方案以及针对大数据的分析建模服务.(官方文档有这里就不多做介绍了)官方文档链接 优势 用户不必关心分布式计算细节,从而达到分析大数据的目的. MaxCompute(原ODPS)的概念 大数据计算服务(MaxCompute,原名ODPS)是一种快速.完全托管的PB/EB级数据仓库解决方案,具备万台服务器扩展能力和跨地域容灾能力,是阿里巴巴内部核心大数据平台,支撑每日百万级作业规模.MaxCompute向用户提供了完善

阿里大数据架构师必备技能,你“佩奇”了嘛?

这两天真的是被<啥是佩奇>这支广告片刷屏了.佩奇明明是个喜剧角色,却把所有人都给看哭了! 中间的剧情,小孙子一句:"想要佩奇",结果爷爷就开始了满村子的寻找佩奇,到最后寻找到了小编认为是最好看的佩奇 不知道大家看了之后是什么感觉,反正我看了之后的感觉是非常感动了.不过经过几天的发酵,"佩奇"这两个字似乎有了更多的含义了!各种"佩奇"齐出不穷,女人的"佩奇"是什么样的?程序员的"佩奇"是什么样的?

阿里云大数据计算服务 - MaxCompute (原名 ODPS)

原文地址:https://www.cnblogs.com/barrywxx/p/10739834.html

计算机专业术语对照

# 计算机专业术语对照 ## 0-9 ## A ## access,获取,存取  acoustic coupler,声音耦合器  Active Directory,活动目录  ADSL,Asymmetrical Dingital Subscriber Loop,非对称数字用户环线  affinity,绑定  affinity group,地缘组  agent,代理  agent-based interface,代理人界面  agility,敏捷性  AI,Artificial Intellige

kafka深入研究之路(2) kafka简介与专业术语解释说明

目录:1.kafka简介 什么是kafka? 设计目标是什么?2.kafka的优缺点3.kafka中专业术语解释说明 官方网站: http://kafka.apache.org/introkafka中文教程 http://orchome.com/kafka/index 1/ kafka 简介Kafka是最初由Linkedin公司开发,是一个分布式.分区的.多副本的.多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志.访问日志,消息服务等