php+mysql 数据库分表分段备份程序--宋正河

<?php

//宋正河 转载请注明出处

set_time_limit(0);

header(‘content-type:text/html;charset=utf-8‘);

mysql_connect(‘localhost‘,‘root‘,‘root‘);

mysql_select_db(‘test‘);

$table_array=get_tables(‘test‘);

mysql_query(‘set names utf8‘);

$filesize=1024*1024*4;

$start=$_GET[‘start‘]?$_GET[‘start‘]:0;

$part=$_GET[‘part‘]?$_GET[‘part‘]:‘1‘;

$table_index=$_GET[‘table_index‘]?$_GET[‘table_index‘]:‘0‘;

$table=$table_array[$table_index];

$num=200000000;//这个数要足够大,可以是总记录数

$backupdata=‘‘;

if($start==‘0‘){

$query="SHOW CREATE TABLE `{$table}`";

$result = mysql_query($query);

$row = mysql_fetch_row($result);

$backupdata .= "DROP TABLE IF EXISTS `{$table}`;\n" . $row[1] . ";\n\n";

}

$limit=($start==‘0‘)?‘‘:" limit $start,$num ";

$query="select * from `{$table}` $limit ";

$result=mysql_query($query);

$numfields = mysql_num_fields($result); //统计字段数

while($row=mysql_fetch_row($result)){

$comma = ‘‘; //存储逗号

$backupdata_tmp = "INSERT INTO `{$table}` VALUES (";

for($i=0; $i<$numfields; $i++){

$backupdata_tmp .= $comma . "‘" . mysql_escape_string($row[$i]) . "‘";

$comma = ‘,‘;

}

$backupdata_tmp .= ");\n";

if(strlen($backupdata)+strlen($backupdata_tmp) > $filesize){

//写入文件并跳转

$file=‘data/‘.$table.‘-‘.$part.‘.sql‘;

file_put_contents($file,$backupdata);

echo $file.‘ 备份完成,程序继续进行!‘;

$part++;

//分段

//表名

//起点

//跳转

sleep(3);

echo "<script>location.href=‘?start={$start}&table_index={$table_index}&part={$part}‘;</script>";

exit;

}

$backupdata.=$backupdata_tmp;

$start++;

}

if($backupdata){

$file=‘data/‘.$table.‘-‘.$part.‘.sql‘;

file_put_contents($file,$backupdata);

}

echo $table.‘备份完成!<br />‘;

sleep(2);

$table_index++;

if($table_array[$table_index]){

echo "<script>location.href=‘?table_index={$table_index}‘;</script>";

exit;

}else{

echo ‘恭喜你,数据库备份完毕!‘;

}

function get_tables($db){

$tq = mysql_list_tables($db);

while($tr = mysql_fetch_row($tq)){

$arrtb[] = $tr[0];

}

return $arrtb;

}

?>

时间: 2024-12-26 07:34:35

php+mysql 数据库分表分段备份程序--宋正河的相关文章

MySQL数据库 分表分库备份及批量恢复如何进行?

脚本实现 #!/bin/bash for db_name in `mysql -e "show databases;"|sed 1d` do mkdir -p /backup/$db_name for table_name in `mysql -e "show tables from $db_name"|sed 1d` do /application/mysql/bin/mysqldump  --master-data=2 $db_name $table_name

mysql数据库分表分区

防伪码:博观而约取,厚积而薄发 为什么要分表和分区? 我们的数据库数据越来越大,随之而来的是单个表中数据太多.以至于查询书读变慢,而且 由于表的锁机制导致应用操作也搜到严重影响,出现了数据库性能瓶颈. mysql 中有一种机制是表锁定和行锁定,是为了保证数据的完整性.表锁定表示你们都不能 对这张表进行操作,必须等我对表操作完才行.行锁定也一样,别的 sql 必须等我对这条数 据操作完了,才能对这条数据进行操作.当出现这种情况时,我们可以考虑分表或分区. 1.分表 什么是分表? 分表是将一个大表按

MySQL数据库分表分表区

为什么要分表和分区? 我们的数据库数据越来越大,随之而来的是单个表中数据太多.以至于查询书读变慢,而且由于表的锁机制导致应用操作也搜到严重影响,出现了数据库性能瓶颈. mysql中有一种机制是表锁定和行锁定,是为了保证数据的完整性.表锁定表示你们都不能对这张表进行操作,必须等我对表操作完才行.行锁定也一样,别的sql必须等我对这条数据操作完了,才能对这条数据进行操作.当出现这种情况时,我们可以考虑分表或分区. 1.分表 什么是分表? 分表是将一个大表按照一定的规则分解成多张具有独立存储空间的实体

MySQL数据库分表分区(一)(转)

面对当今大数据存储,设想当mysql中一个表的总记录超过1000W,会出现性能的大幅度下降吗? 答案是肯定的,一个表的总记录超过1000W,在操作系统层面检索也是效率非常低的 解决方案: 目前针对海量数据的优化有两种方法: 1.大表拆小表的方式(主要有分表和分区两者技术) (1)分表技术 垂直分割 优势:降低高并发情况下,对于表的锁定. 不足:对于单表来说,随着数据库的记录增多,读写压力将进一步增大. 水平分割 如果单表的IO压力大,可以考虑用水平分割,其原理就是通过hash算法,将一张表分为N

php 采集程序 宋正河

本程序主要是通过php采集网页信息,程序自动存储采集进度,采用phpquery简化元素节点匹配,采集到的内容直接入库 你要做的只是写好采集语法,本程序适合有一定php基础的人使用!当然你也可以进行修改以满足自己的需求,希望本程序对您 有所帮助! 下载地址:http://download.csdn.net/detail/songzhengdong82/8565639 程序作者:宋正河

MySQL 数据库分表分区

博主QQ:819594300 博客地址:http://zpf666.blog.51cto.com/ 有什么疑问的朋友可以联系博主,博主会帮你们解答,谢谢支持!一.分表 为什么要分表? 我们的数据库数据越来越大,随之而来的是单个表中数据太多.以至于查询书读变慢,而且由于表的锁机制导致应用操作也搜到严重影响,出现了数据库性能瓶颈. 什么是分表? 分表是将一个达标按照一定的规则分解成多张具有独立存储空间的实体表,每个表都对应三个文件,.MYD数据文件..MYI索引文件..frm表结构文件.这些表可以分

MySQL数据库分表的3种方法【转】

一,先说一下为什么要分表 当一张的数据达到几百万时,你查询一次所花的时间会变多,如果有联合查询的话,我想有可能会死在那儿了.分表的目的就在于此,减小数据库的负担,缩短查询时间. 根据个人经验,mysql执行一个sql的过程如下:1,接收到sql;2,把sql放到排队队列中 ;3,执行sql;4,返回执行结果.在这个执行过程中最花时间在什么地方呢?第一,是排队等待的时间,第二,sql的执行时间.其实这二个是一回事,等待的同时,肯定有sql在执行.所以我们要缩短sql的执行时间. mysql中有一种

Mycat(4):消息表mysql数据库分表实践

本文的原文连接是: http://blog.csdn.net/freewebsys/article/details/46882777 未经博主允许不得转载. 1,业务需求 比如一个社交软件,比如像腾讯的qq.可以进行群聊天(gid),也可以单人聊天. 这里面使用到了数据库中间件mycat,和mysql数据表分区. 关于mycat分区参考: [ 数据库垂直拆分,水平拆分利器,cobar升级版mycat] http://blog.csdn.net/freewebsys/article/details

MySQL数据库及表的备份与还原

备份 导出数据库所有表结构 mysqldump -uroot -ppassword -d dbname > db.sql 导出数据库某个表结构 mysqldump -uroot -ppassword -d dbname tablename > db.sql 导出数据库所有表结构及数据 mysqldump -uroot -ppassword dbname > db.sql 导出数据库某个表结构及数据 mysqldump -uroot -ppassword dbname tablename