数据归档,冷热数据分离

一.关于tokudb引擎

1.tokudb引擎特点

1.高压缩比,高写入性能
2.在线创建索引和字段
3.在线事务
4.支持索引同步

2.tokudb安装步骤

1.yum install jemalloc -y

2.vim /etc/my.cnf   #添加如下
[mysqld_safe]
malloc-lib=/usr/lib64/libjemalloc.so.1

3.echo never >/sys/kernel/mm/transparent_hugepage/enabled echo never >/sys/kernel/mm/transparent_hugepage/defrag

4.yum install Percona-Server-tokudb-57.x86_64

5.启动引擎ps-admin --enable -uroot -p

6.重启mysql服务service mysql restart

7.ps-admin --enable -uroot -p

8.查看引擎 执行mysql -u root -p,登录mysql,执行show engines

3.

原文地址:https://www.cnblogs.com/hbxZJ/p/10272393.html

时间: 2024-10-17 04:06:35

数据归档,冷热数据分离的相关文章

闪回数据归档(Flashback Data Archive)

转自:http://book.2cto.com/201209/4154.html 闪回查询对撤销数据及参数undo_retention的依赖注定了它们在大事务量的情况下闪回时间窗口将会很小,想要查询数月之前的"旧"数据绝对不可能,但在闪回数据归档面前这并不是不可能的. 闪回数据归档的工作原理是将原本只能保存在UNDO表空间的撤销数据额外的以一种历史表的形式保存在指定的普通表空间(permanent类型的表空间)中.并且不像undo_retention参数那样是个影响整个数据库的设置,闪

ElasticSearch5.X的冷热数据架构

转载:https://my.oschina.net/xiaomaijiang/blog/826701 当使用ElasticSearch做大规模的时序数据分析的时候,我们建议使用基于时序的索引并且采用3种不同类型的节点组成分层架构(Master.Hot-Node.Warm-Node),也就是我们所说的"Hot-Warm"架构. Master Nodes 我们建议使用3个独立的主节点来提供足够的弹性,为了防止脑裂的问题,你应该把discovery.zen.minimum_master_no

SQL Server数据归档的解决方案

SQL Server数据归档的解决方案 最近新接到的一项工作是把SQL Server中保存了四五年的陈年数据(合同,付款,报销等等单据)进行归档,原因是每天的数据增量很大,而历史数据又不经常使用,影响生产环境的数据查询等操作.要求是: 1 归档的数据与生产环境数据分开保存,以便提高查询效率和服务器性能. 2 前端用户能够查询已归档的数据,即系统提供的功能不能发生改变 看起来要求不是很高,我自然会联想到两种方法,第一种新建一个与生产环境一样的数据库,把归档数据保存到这个数据库中:第二种在生产环境为

使用linux系统命令实现ip隧道,完成数据包上行下行分离

当前有这样一个场景,客户A到服务器B去GET一个http请求,中间要过一个防火墙,防火墙要监控GET请求,如果发现会进行截断. 这里有2个要求: 1.客户端A如果抓包,发现自己连接的服务器是B的ip 2.服务器端如果转,发现连接自己的是客户端A 3.如果有中转服务器,不能承受太大的压力 如此一来,A就不能使用普通的vpn服务到达B,因为通过普通的vpn服务后,服务器B看见的是VPN服务器的ip地址而不是客户端A的ip地址. 这里考虑用ip隧道来实现,只将用户的上行请求通过ip隧道送到防火墙外面,

SAP 数据归档

由于数据库越来越大,对于管理和使用都是一个大的问题,我们归档的目的就是为了是数据库进可能的小,加快用户响应时间,并且对于用户对于数据库的查询来说,进可能加载多的表到内存中. 归档就是上面两个要求的平衡点,首先把不需要经常使用的商务对象数据从数据库中提取出来写到一个归档文件中,然后把相关对象从数据库删除,这就减小数据库大小.并且这些归档数据同样还是可以被用户读取和查询的. 注意商业对象可能在数据库中跨多个表存储,归档对象是把这些表中这个商业对象全部归结到这个对象来的. 然后才会在所有这些表中删除关

SQL Server 数据归档方案

目的 本文旨在从数据库管理方面,提供将SQL Server大数据表归档的解决方案.可以作为新业务上线时进行方案设计的参考. 归档方案选型 方案一: 方案介绍 BCP导出数据到本地目录目录后,遍历目录文件BCP导入到临时表,再循环删除源表数据.通过Insert into - Left Join -通过主键关联临时表和归档表排除存在的数据.(或通过2008及后续版本的Merge语句,不存在插入,存在更新) 方案优缺点 优点:BCP性能好.通过SP容易控制逻辑.维护简单 缺点:逻辑略繁琐 方案二: 方

swift中使用对象归档进行数据本地

对象归档是ios持久化中的其中一种,也是很常用的一种.现在来看看swift是如何实现的.实现要点1),必须实现NSCoding的协议 import UIKit let path=(NSSearchPathForDirectoriesInDomains(NSSearchPathDirectory.DocumentDirectory,NSSearchPathDomainMask.UserDomainMask, true)[0] as String).stringByAppendingString("

数据归档显示

需求:显示一个级别,让下级在这个级别下面显示,也可以按时间归档处理,把某个时间段的放到一个时间里.大概格式如下: php laravel.thinkphp.file mysql select.insert.update linux 方案:①首先需要把一级分类显示出来,然后在循环中根据id查询到它的子类再次循环输出:如下 @foreach($allcate as $d)                                  #先循环输出上级 <a href="{{url('cat

tar命令--数据归档

虽然zip命令能够很好的将数据压缩和归档到单个文件,蛋挞不是linux 和unix的标准归档工具. ta命令最开始是用来将文件写到磁盘设备上的归档.然而他也能把输出写道文件里. 你会发现这个可选参数是真的多!!! 可以没有时间换成简易版:tar命令--数据归档(二) tar --help 用法: tar [选项...] [FILE]... GNU ‘tar’ 将许多文件一起保存至一个单独的磁带或磁盘归档,并能从归档中单独还原所需文件. 示例 tar -cf archive.tar foo bar

Atitit 研发体系建立 数据存储与数据知识点体系知识图谱attilax 总结

分类具体知识点原理规范具体实现(oracle,mysql,mssql是否可以自己实现说明 数据库理论数据库的类型 数据库理论,网状,层次, 数据库理论树形数据库注册表,hashtable 数据库理论,kv数据库.hashtable 数据库理论Oodb 数据库理论nosql db 数据库理论隔离级别 数据库理论 数据库理论Er模型 数据库理论Acid数据库完整性 数据库理论关系模型 数据库理论   sql 数据库理论 数据库理论存储过程 数据库理论 触发器 数据库理论 视图 约束 数据库理论 数据