大数据与数据库的区别,大数据的备份与恢复

大数据(big data),指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

数据库(Database)是按照数据结构来组织、存储和管理数据的仓库,它产生于距今六十多年前,随着信息技术和市场的发展,特别是二十世纪九十年代以后,数据管理不再仅仅是存储和管理数据,而转变成用户所需要的各种数据管理的方式。数据库有很多种类型,从最简单的存储有各种数据的表格到能够进行海量数据存储的大型数据库系统都在各个方面得到了广泛的应用。

  大数据应用的发展趋势是在拥有大存储容量的同时配备用于执行数据分析的融合硬件设备与分析软件包。这些应用通常不会用于处理运营数据;相反,用户会通过查询数据来分析过去的产品销售、预测趋势和确定未来的客户购买模式。大数据应用通常并不会被定位为关键业务系统,虽然它们也支持销售和营销决策,但是并不会显著影响一些核心业务,如客户管理、订单、库存和配送等。

我们来看一下如何进行大数据的灾难恢复。 数据太大,无法备份

  灾难恢复最佳实践包括在指定的时间里将重要数据及时恢复到一致状态的能力。这段时间称为恢复时间目标(RTO),它必须在业务所依赖的运营数据的限制范围之内(最多几个小时)。大多数公司认为大数据的备份与恢复并不重要。其中包括以下这些原因。

  运营系统更重要。在发生灾难之后,最高优先级的工作是恢复那些支持运营系统的数据。这些系统包括会计、订单条目、支付受理、工资等,它们是保证公司正常运营的必要条件。在这些数据恢复之后,第二优先级的工作是支持这些系统的运行。

大数据并不是关键业务系统。预测和趋势分析可能是营销的重要手段,但是这些分析及其相关的查询和用户报表都基于历史数据,而非实时数据。

   大数据的体量非常巨大,一个大数据应用所存储的数据量可能是所有运营数据之和的数十倍。这是因为大数据应用工作在数据的历史 快照上。十年的历史数据就会包含几千天的快照。它备份在什么介质上,备份需要多长时间,然后需要的备份存储有多大?

  备份与恢复流程需要I/O通道容量。在短时间内迁移大容量的数据要求使用较大的容量。备份与恢复会耗尽I/O通道,唯一可行的替代方法是安装足够的附加容量去处理这些任务。

 大数据的备份方法:如果准备在灾难恢复计划过程中恢复全部或部分大数据应用,那么可以考虑选择下面这些备份方法。最重要的是要记住:大数据主要是历史数据和静态数据。运营数据快照会被提取到一个分段集结区域,进行整理和转换,然后再加载到企业数据仓库和大数据应用中。在此之后,它们都不会更新。这意味着在每一个快照上只需要运行一次备份流程。

  最常用的备份方法主要有: 数据复制。这是一个常用的备份方法。当数据加载到数据仓库或大数据应用程序时,它们会同步传输到一个备份流程中,其中会载入大数据应用程序的一个备份副本。这个流程通常发生在灾难恢复站点中,然后在发生灾难时它仍然保有一份最新的数据。

  虚拟快照。这是一个硬件解决方法,它允许在 存储介质上创建整个系统的虚拟备份。数据库写操作会在中断一小段时间,这时管理 存储子系统的硬件会对所有文件执行内部复制操作。这个复制流程可能非常快,有时会在几秒钟内完成。在复制完成之后, 数据库管理系统又会重新允许执行写操作。快照提供了超快速的恢复时间,它的假定前提是可以恢复到创建快照的指定时间点。除此之外,恢复到非快照创建的时间点需要有一些方法能够将所有最新数据库变化(日志捕捉)应用到快照中。另一个问题是存储容量。快照可能要求将当前使用的存储加倍。而且,当灾难发生时,当时的快照会作为当前数据,但是还必须分配另一个快照区域,以备应付新的灾难事件。

  本地与远程副本。这是一个经典方法,它由 磁盘备份和包含物理磁盘驱动器或数据库的阵列备份构成。DBA使用供应商工具访问那些通常存储为一种压缩私有格式的数据。这些备份会快速地执行和加载,因为它们采用的是内部数据格式。

  总结 大数据无论部署还是使用都非常耗费时间、金钱和资源。许多公司迫切希望从这些大投入中获取回报,查询和报表能够提供一些宝贵的洞察力,帮助执行决策、应付变化和获得收益。大数据应用最终会变成关键业务系统。在此之前,一定要保证自己的IT基础架构能够备份和恢复这些数据。

时间: 2024-08-10 06:11:03

大数据与数据库的区别,大数据的备份与恢复的相关文章

Excel向数据库插入数据和数据库向Excel导出数据

为了熟悉java里工作簿的相关知识点,所以找了"Excel向数据库插入数据和数据库向Excel导出数据"的功能来实现. 注意事项:1,mysql数据库: 2,需要导入的jar包有 jxl.jar,mysql-connector-java-5.1.22-bin.jar,ojdbc6.jar 代码如下: 一, 建立数据库名称 javaforexcel,建立表stu DROP TABLE IF EXISTS `stu`;CREATE TABLE `stu` (  `id` int(11) N

使用达思SQL数据库修复软件导出数据库时的接收数据的数据库如何清空表数据?

清空表数据,保留视图,存储过程,函数,以及保留表约束.触发器等等,可以给故障数据库预留一个好的躯壳,把坏库数据导入此躯壳.对用友.金蝶等数据库恢复有时候能达到好的效果. 清除表数据有两种方法: 一种用delete from [表名] ,这种方法对于大数据库,速度慢,会产生很大的日志信息,对于小库,速度可以忽略: 另一种是truncate table [表名] ,这种方法速度快,但清除不了具有外键的表数据. 在清除表数据时,可以采用两种方法结合. 清除表数据时先禁用一切约束,清除完成以后再次启用约

前台传来的新数据与数据库中的旧数据比较更新算法

工作中遇到一个很小的功能,发现写好还有点难度,经过一晚上的思考,把成果记录下. 问题: 数据库中保存了一些数据,前台更新操作传来新的数据.如何比较差异,进行更新.如: 前台传来1,2,3,数据库中有3,5.则需要在数据库中增加1,2:在数据库中删除5:原有数据3不变. 解决方法一: 先把数据库中原的数据全部清空,然后把前台的数据全部执行插入. 这种方法简单,很容易理解,以及判断及正确性.缺点是如果原数据库数据较多,则重复删除后增加,则效率不高. 解决方法二: 查询原数据库中的数据,做为待删除的列

大数据量数据库优化 - CodeMain - 博客园

一.数据库结构的设计 如果不能设计一个合理的数据库模型,不仅会增加客户端和服务器段程序的编程和维护的难度,而且将会影响系统实际运行的性能.所以,在一个系统开始实施之前,完备的数据库模型的设计是必须的. 在一个系统分析.设计阶段,因为数据量较小,负荷较低.我们往往只注意到功能的实现,而很难注意到性能的薄弱之处,等到系统投入实际运行一段时间后,才发现系统的性能在降低,这时再来考虑提高系统性能则要花费更多的人力物力,而整个系统也不可避免的形成了一个打补丁工程. 所以在考虑整个系统的流程的时候,我们必须

大数据量数据库优化

一.数据库结构的设计 如果不能设计一个合理的数据库模型,不仅会增加客户端和服务器段程序的编程和维护的难度,而且将会影响系统实际运行的性能.所以,在一个系统开始实施之前,完备的数据库模型的设计是必须的. 在一个系统分析.设计阶段,因为数据量较小,负荷较低.我们往往只注意到功能的实现,而很难注意到性能的薄弱之处,等到系统投入实际运行一段时间后,才发现系统的性能在降低,这时再来考虑提高系统性能则要花费更多的人力物力,而整个系统也不可避免的形成了一个打补丁工程. 所以在考虑整个系统的流程的时候,我们必须

大数据量数据库设计与优化方案(SQL优化)

转自:http://blog.sina.com.cn/s/blog_6c0541d50102wxen.html 一.数据库结构的设计 如果不能设计一个合理的数据库模型,不仅会增加客户端和服务器段程序的编程和维护的难度,而且将会影响系统实际运行的性能.所以,在一个系统开始实施之前,完备的数据库模型的设计是必须的. 在一个系统分析.设计阶段,因为数据量较小,负荷较低.我们往往只注意到功能的实现,而很难注意到性能的薄弱之处,等到系统投入实际运行一段时间后,才发现系统的性能在降低,这时再来考虑提高系统性

大数据量数据库设计与优化方案

转自:https://www.cnblogs.com/zuizui1204/p/9197248.html 一.数据库结构的设计 如果不能设计一个合理的数据库模型,不仅会增加客户端和服务器段程序的编程和维护的难度,而且将会影响系统实际运行的性能.所以,在一个系统开始实施之前,完备的数据库模型的设计是必须的. 在一个系统分析.设计阶段,因为数据量较小,负荷较低.我们往往只注意到功能的实现,而很难注意到性能的薄弱之处,等到系统投入实际运行一段时间后,才发现系统的性能在降低,这时再来考虑提高系统性能则要

数据建模学习笔记-1-《高质量数据库建模 1-重大意义》

https://edu.hellobi.com/course/54 <高质量数据库建模 1-重大意义> 1.数据模型的概念和意义 DIKW —— 数据(Data) 信息(Information) 知识(Knowledge) 智慧(Wisdom) 如图所示,我理解,通过数据得到信息,通过信息得到知识,通过知识产生智慧.  最终的目的是产生智慧产生决策 2.什么是数据模型? 数据模型是将数据元素以标准化的模式组织起来,用来模拟现实世界的信息框架蓝图 3.数据模型的要求: 1).直观地模拟世界 2)

大数据高性能数据库Redis在Windows上的配置

Redis学习笔记----Redis在windows上的安装和配置 Redis简介 redis是一个key-value存储系统.和Memcached类似,它支持存储的value类型相对更多,包括string(字符串).list(链表).set(集合).zset(sorted set --有序集合)和hash(哈希类型).这些数据类型都支持push/pop.add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的.在此基础上,redis支持各种不同方式的排序.与memcach