大规模分布式存储实战

第一课:大规模高性能分布式存储系统概述
   本课会全面介绍分布式存储系统的知识点(分布式系统、高可用性、高可靠性、数据一致性、高扩展性、高安全性、稳定性等),带领大家进入大规模高性能分布式存储系统的世界,开始一段神奇&收获满满的课程。
第二课:大规模高性能分布式存储原理与设计
   本课会从FLP、SMC、CAP、单机与多机存储等讲述原理,并针对原理举例展开,重点会展开针对这些原理在大规模分布式存储系统的设计思路。
第三课:典型分布式存储系统分析对比
   本课重点分析典型的分布式存储系统:GFS、HDFS、MongoDB、HBASE、Dynamo等,他们的适用场景,对比分析各自的优缺点以及设计思路。
第四课:大规模高性能分布式存储系统之一致性篇
   大规模高性能分布式存储系统中数据一致性是非常重要的一个话题,分布式存储系统是如何做到数据一致性的(分布式锁、分布式事务、消息队列、二阶段提交等等),本课带领大家一起深入学习。
第五课:大规模高性能分布式存储系统之高可用高可靠篇
   大规模高性能分布式存储系统中高可用高可靠是非常重要的一个话题,分布式存储系统是如何做到数据高可靠高可用(副本集、日志、复制、冗余等),本课带领大家一起深入学习。
第六课:大规模高性能分布式存储系统之安全篇
   大规模高性能分布式存储系统中数据安全性是非常重要的一个话题,分布式存储系统是如何做到数据安全性的(鉴权、集中控制、加密存储等),本课带领大家一起深入学习。
第七课:大规模高性能分布式存储系统之负载均衡篇
   大规模高性能分布式存储系统中负载均衡是非常重要的一个话题,分布式存储系统是如何做到负载均衡的(多种负载均衡算法设计),本课带领大家一起深入学习。
第八课:大规模高性能分布式存储系统之高性能篇
   大规模高性能分布式存储系统中高性能是非常重要的一个话题,分布式存储系统是如何做到高性能的(架构设计层面、代码层面、高扩展性层面等),本课带领大家一起深入学习。
第九课:大规模高性能分布式存储系统之监控&稳定性篇
   大规模高性能分布式存储系统中数据稳定性是非常重要的一个话题,通过监控可以发现系统的问题,结合监控分布式存储系统是如何做到高稳定性的(进程监控、语义监控、错误日志监控、监控工具、性能评估方法等),本课带领大家一起深入学习。
第十课:大规模高性能分布式存储系统设计与实现之实战篇
   本课会带领大家一起动手设计与实现一个大规模分布式存储系统(根据所学知识,设计满足对海量数据量进行高效存储的分布式存储系统),让大家领略到分布式存储系统的魅力。
第十一课:大规模高性能分布式存储系统发展与展望
   随着移动互联时代的到来,大规阿模性能分布式存储系统,将会何去何从,本课会和大家一起深入讨论。

时间: 2024-10-18 10:56:17

大规模分布式存储实战的相关文章

FastDFS分布式存储实战

<FastDFS分布式存储实战> 一.技术选型二.FastDFS相关组件及原理FastDFS介绍FastDFS架构FastDFS工作流程上传同步机制下载文件合并原理三.实验环境说明四.FastDFS部署初始化系统安装libfastcommon和fastdfsstorage server安装nginx配置mod_fastdfs.conf配置下载网关tracker和storage目录结构测试五.高级功能防盗链在线扩容增加group组内增加storage server故障磁盘移除文件去重存储自定义文

ceph分布式存储实战(1)——ceph集群测试主机规划

主机规划 节点 磁盘(4块) 网卡(2块) mem/cpu OS HostName 节点1 os-ceph-node1/10G 私Eth0:dhcp 1G/1 CentOS Linux release   7.3.1611 (Core)_X64 ceph-node1 ceph-node1-osd1/10G 外Eth1:192.168.89.101 ceph-node1-osd2/10G ceph-node1-osd3/10G 节点2 os-ceph-node2/10G 私Eth0:dhcp 1G

ceph分布式存储实战(2)——从0开始创建第一个ceph集群

一.在每台节点的/etc/hosts文件中增加如下内容 192.168.89.101 ceph-node1 192.168.89.102 ceph-node2 192.168.89.103 ceph-node3 二.节点1配置免密码登录其他节点 [[email protected] ~]# yum install openssh-clients #安装ssh客户端 [[email protected] ~]# ssh-keygen #生成密钥对 [[email protected] ~]# ss

ceph分布式存储实战(3)——ceph内部组件

一.RADOS(Reliable Autonomic Distributed Object Storage)1.rados的意思是    可靠.自动.分布式对象存储(可靠的自主分布式对象存储)2.rados的作用    1.rados是ceph集群的基础,是ceph存储系统的核心,ceph中一切都是以对象的形式存储,而rados就是负责存储这些对象,无需考虑数据是啥类型    2.确保数据的一致性和可靠性    3.负责数执行数据的复制.故障检测和恢复    4.负责数据在集群节点之间的迁移和再

ceph分布式存储实战(5)——ceph存储配置(RBD镜像日常管理)

一.在线调整Ceph RBD的容量大小 1.支持调整ceph RBD的容量大小的底层文件系统     自由的增加或者减少RBD的容量,需要底层文件系统的支持,支持的文件系统有     1.XFS     2.EXT     3.Btrfs     4.ZFS 2.将RBD镜像ceph-client1-rbd1原始容量是10G扩容为20G,(在ceph集群中任意一台节点上)执行的命令如下:     rbd resize rbd/ceph-client1-rbd1 --size 20480     

百度技术沙龙第48期回顾:大规模机器学习(含资料下载)

原文:http://www.infoq.com/cn/news/2014/03/baidu-salon48-summary 2014年3月15日,在由@百度主办.@InfoQ负责策划组织和实施的第48期百度技术沙龙活动上,来自百度联盟大数据机器学习技术负责人夏粉,和搜狗精准广告研发部技术经理王晓博,各自分享了其在机器学习方面的实战经验.他们的话题涉及“广告数据上的大规模机器学习”和“大数据场景下主题检索应用”这两个方面,本文将对讲师各自的分享做简单的回顾,同时提供相关资料的下载. 主题一:广告数

分布式存储(姚文辉)

1.大数据对分布式存储的需求 存储容量(>100PB) 高吞吐量(1PB sort < 2小时 350GB/每秒的吞吐量) 高可靠性(8个9) 服务高可靠性(99.95%时间可用) 运维简单 成本低,廉价pc服务器,数据压缩,混合存储. 2.大规模分布式存储系统的挑战 大规模分布式存储中小概率事件变为常态,如何高效的处理这些小概率事件是分布式系统工程中的巨大挑战. 磁盘机器损坏:磁盘损坏率大概为4%,机器宕机率为1%%,5000台机器的集群,磁盘机器损坏就会很常见.一旦出现宕机,IO流量需要自

2016Ceph社区年终庆典

Author:qujun    12月5号来北京出差,基本上打了一个星期酱油咯,每天看看云平台,时间过的很快,主要原因在于没有规划,然后住宾馆失眠,导致白天没有精神什么也不想干.虽然每天都懒洋洋,突然想周日在北京有个Ceph社区的年终会议,于是就顺手报名,主要是看中了前五十入场的有社区出的新书<Ceph分布式存储实战>送- 今天早早到了万寿宾馆,拿到了书大概的翻了一下,确实干货还是蛮多的,相比与<ceph cookbook>,它有更多的实战内容,如RBD与虚拟化的使用,iscsi与

腾讯云数据库团队:MySQL数据库的高可用性分析

作者介绍:易固武,腾讯高级工程师,参与腾讯账号安全建设,腾讯数据仓库(TDW)优化改造,腾讯云数据库等项目,对大规模分布式存储和计算系统有浓厚的兴趣和经历 MySQL数据库是目前开源应用最大的关系型数据库,有海量的应用将数据存储在MySQL数据库中.存储数据的安全性和可靠性是生产数据库的关注重点.本文分析了目前采用较多的保障MySQL可用性方案. MySQL Replication MySQL Replication是MySQL官方提供的主从同步方案,用于将一个MySQL实例的数据,同步到另一个