使用ssh远程执行命令批量导出数据库到本地（转）

前天正在跟前端的同事调试功能。服务器开好，模拟的玩家登录好，就在倒计时。这时突然运营的同事跑过来说要统计几个服务器玩家的一些情况，也就是需要从几个服的数据库导出部分玩家的数据。好吧，我看了一下时间，11：47。心想，跟前端调试完，去吃个饭再午休一下那就下午再给吧。没想对方来一句"就导个数据库而已，要这么久么？"，而且还是直接跟我上司说的。我嚓，好吧，我导。可问题来了，平时的统计是由php做的，批量部署这些是由运维做的。服务端完全没有对应的工具。而且服务器是在阿里云上的，数据库的用户是限制了ip段登录的，我所在的ip没法登录的。于是，只好终止调试，切ip，写sql,然后用navicat手动一个个服务器导出数据到excel。

　　事后想想，还是写个脚本吧，不然以后还是会被坑的。

　　从环境来看，数据库不能直接登录，没法直接导出。不过可以由运维提供key通过ssh登录到远程服务器再将数据导出到本地。

　　先配置ssh通过key登录服务器。这里略过...

　　然后就是通过ssh执行命令。先看一下ssh的帮助文档：

　　usage: ssh [-1246AaCfgKkMNnqsTtVvXxYy] [-b bind_address] [-c cipher_spec]

　　[-D [bind_address:]port] [-E log_file] [-e escape_char]

　　[-F configfile] [-I pkcs11] [-i identity_file]

　　[-L [bind_address:]port:host:hostport] [-l login_name] [-m mac_spec]

　　[-O ctl_cmd] [-o option] [-p port]

　　[-Q cipher | cipher-auth | mac | kex | key]

　　[-R [bind_address:]port:host:hostport] [-S ctl_path] [-W host:port]

　　[-w local_tun[:remote_tun]] [[email protected]]hostname [command]

　　最后一项就是执行指令的。假如远程服务器地址为180.97.33.108，开启的ssh端口为998，ssh用户名为xzc，然后想通过在远程服务器上执行命令ls，那么脚本应该这么写：

　　ssh [email protected] -p 998 "ls"

　　如果ssh的认证key已配置好，那么会把登录后当前目录下的文件列出来，当然第一次登录会提示保存远程服务器的指纹。现在是要导出数据库的数据，那么需要把ls命令换成导出数据库的命令。

　　echo "select * from user;" | mysql xzc_db -uxzc -pxzcpwd

　　#或者

　　mysql xzc_db -uxzc -pxzcpwd -e "select * from user"

　　上面两命令都可以使用数据库用户xzc，密码xzcpwd从数据库xzc_db打印出user表，使用的是默认的本地数据库地址localhost，默认的端口。如果不是默认，需要指定。

　　登录OK了，打印也OK了，那么下一步就是导出到文件了。这在bash也就是一个 > 的事。把上面的命令拼起来就是：

　　ssh [email protected] -p 998 ‘echo "select * from user;" | mysql xzc_db -uxzc -pxzcpwd‘ > user.txt

　　这样就把user表导出来本地的user.txt中了。注意"> user.txt"如果放到 ‘‘里则是在远程服务器执行，导出的文件在远程服务器。文件现在也有了，不过是txt，这样交给运营不太好吧。那就导出excel吧。不过遗憾的是我查了N多资料，也找不到mysql不依赖第三方插件或工具导出原生excel的方法。而navicat导出的可是货真价实的excel，如果用notepad++之类的文本工具打开是会乱码的，并且导出的文件不会有编码问题。幸好如果一个txt以tab分割的话，excel也是能认得出来的。于是把user.txt改名user.xls就可以了。但这样做的问题是excel会按自己的方式处理内容的。比如把一个很大的数字转换成科学记数法形式。这些都得手动去处理一下了。

最后，就是写成脚本批量操作了。附上我使用的脚本一个：

　　#!/bin/bash

　　# 通过ssh远程执行远程指令

　　# 需要先部署key认证，保证ssh只需要ip、port即可连接

　　# 如果需要和远程服务器交互，请参考ssh的-t、-tt参数

　　# 如果需要反复登录服务器执行多条指令，请使用ssh的通道重用

　　# 参考：http://en.wikibooks.org/wiki/OpenSSH/Cookbook/Multiplexing

　　# 使用通道需要注意退出通道，如"ssh github.com -O exit"或者"ssh github.com -O stop"

　　#                                              --by coding my life

　　#分别设置ssh用户名、数据库用户名、数据库密码、导出数据

　　SSH_USER=‘xzc_ssh‘

　　DB_USER=‘xzc_db‘

　　DB_PWD=‘xzc_db_pwd123‘

　　EXP_PATH=export_data/

　　# 执行远程命令

　　# $1 服务器ip

　　# $2 ssh端口

　　# $3 指令

　　function exec_remote_command()

　　{

　　ssh [email protected]$1 -p $2 ‘$3‘

　　}

　　# 执行远程sql,导出数据

　　# $1 服务器ip

　　# $2 ssh端口

　　# $3 指令,多个sql指令如select * from user;select * from bag;也可执行，但结果将会写到同一个文件

　　# s4 服务器

　　# $5 导出文件

　　function export_remote_sql()

　　{

　　echo export from $4 ...

　　cmd="echo \"$3\" | mysql $4 -u$DB_USER -p$DB_PWD --default-character-set=utf8"

　　ssh [email protected]$1 -p $2 "$cmd" > $EXP_PATH$4_$5    #如果要导出到远程服务器，将把 > $EXP_PATH$4_$5放到cmd中

　　}

　　# $1 区服名

　　# $2 ip

　　# $3 端口

　　function exec_sqls()

　　{

　　cat SQLS | while read sql ; do

　　fc=${sql:0:1}

　　if [ "#" == "$fc" ]; then    #被注释的不处理

　　continue

　　fi

　　#sql语句中包含空格，不能再以空格来区分。最后一个空格后的是导出的文件名

　　exp_file="${sql##* }"                #两个#表示正则以最大长度匹配*和一个空格(*后面的空格),截取余下的赋值给exp_file

　　sql_cmd="${sql%% $exp_file}"         #两个%表示从右至左删除%%以后的内容

　　export_remote_sql $2 $3 "$sql_cmd" $1 "$exp_file"

　　done

　　}

　　# 需要在当前目录下创建服务器列表文件SERVERS,格式为"数据库名 ip ssh端口",如"xzc_game_s99 127.0.0.1 22"

　　# 需要在当前目录下创建sql命令列表文件SQLS,格式为"sql语句 导出的文件",如"select * from user; user.xls"

　　# 多个sql请注意用;分开，sql必须以;结束

　　# 文件名中不能包含空格，最终导出的文件为"数据库名_文件名",如"xzc_game_s99_user.xls"

　　mkdir -p $EXP_PATH

　　cat SERVERS | while read server ; do

　　fc=${server:0:1}

　　if [ "#" == "$fc" ]; then    #被注释的不处理

　　continue

　　fi

　　name=`echo $server|awk ‘{print $1}‘`

　　ip=`echo $server|awk ‘{print $2}‘`

　　port=`echo $server|awk ‘{print $3}‘`

　　exec_sqls $name $ip $port

　　done

　　当前目录下的文件如下，其中SERVERS是服务器列表，里面指定数据库名，ip，ss端口，SQLS则指定sql指令及导出的文件名。这两个文件里以#开头的都不会处理：

　　[email protected]:~/桌面/remote_cmd$ ls

　　remote_cmd.sh  SERVERS  SQLS

　　[email protected]:~/桌面/remote_cmd$ cat SERVERS

　　xzc_game_s99 120.0.0.99 6162

　　xzc_game_s91 120.0.0.91 6162

　　xzc_game_s92 120.0.0.92 6162

　　xzc_game_s93 120.0.0.93 6162

　　xzc_game_s94 120.0.0.94 6162

　　#xzc_game_s91 120.0.0.91 6162

　　[email protected]:~/桌面/remote_cmd$ cat SQLS

　　#select * money from money; money.xls

　　select * from user; user.xls

　　[email protected]:~/桌面/remote_cmd$

　　到这里，脚本基本完成了要求。

http://pda158.iteye.com/blog/2172345

时间： 2024-11-07 09:55:50

使用ssh远程执行命令批量导出数据库到本地（转）的相关文章

使用ssh远程执行命令批量导出数据库到本地

前天正在跟前端的同事调试功能.服务器开好,模拟的玩家登录好,就在倒计时.这时突然运营的同事跑过来说要统计几个服务器玩家的一些情况,也就是需要从几个服的数据库导出部分玩家的数据.好吧,我看了一下时间,11:47.心想,跟前端调试完,去吃个饭再午休一下那就下午再给吧.没想对方来一句"就导个数据库而已,要这么久么?",而且还是直接跟我上司说的.我嚓,好吧,我导.可问题来了,平时的统计是由php做的,批量部署这些是由运维做的.服务端完全没有对应的工具.而且服务器是在阿里云上的,数据库的用户是限

ssh远程执行命令使用明文密码

经过不懈的搜索终于找到ssh远程执行命令使用明文密码使用sshpass. 例子: sshpass -p "sequoiadb" ssh [email protected] "ls /" sshpass在centos无法直接安装 cd /etc/yum.repos.d/ wget http://download.opensuse.org/repositories/home:Strahlex/CentOS_CentOS-6/home:Strahlex.repo yum

day8-套接字sock 实现SSH远程执行命令功能

复习 #面向对象编程#类:#对象#实例化 :从一个类到产生一个对象的过程    #对象 = 类名()   #__init__初始化方法,是为了给一个具体的对象放一些初识的属性#在类中:    # 静态属性 直接定义在类中的属性,使用静态属性:类名.对象名都可以调用    # 动态属性 就是方法 就是定义在类中的函数 默认传一个self# class Person:#     money = 100# sister = Person()# father = Person()# Person.mon

解决SSH远程执行命令找不到环境变量的问题

通过SSH执行远程主机的命令或脚本时,经常会出现找不到自定义环境变量的问题.但是,如果通过SSH登录远程主机,然后再执行相同的命令或脚本,那么此时执行又是成功的.两种相似的方法,得到的结果却截然不同,看起来很诡异的现象,根本原因在于这两种方式使用的bash模式不同! 1. 通过SSH登录后再执行命令和脚本这种方式会使用Bash的interactive + login shell模式,这里面有两个概念需要解释:interactive和login. login故名思义,即登陆,login shell

102 模拟ssh远程执行命令

目录 一.subprocess模块 1.1 使用方法 二.模拟实现SSH远程执行命令 服务器 客户端 一.subprocess模块 subprocess 模块允许你去创建一个新的进程让其执行另外的程序,并与它进行通信,获取标准的输入.标准输出.标准错误以及返回码等.更多查看官网:https://docs.python.org/2/library/subprocess.html?highlight=subprocess#frequently-used-arguments 可以通过subproces

100 模拟ssh远程执行命令

目录 一.subprocess模块 1.1 使用方法 二.模拟实现SSH远程执行命令 服务器 客户端 一.subprocess模块 subprocess 模块允许你去创建一个新的进程让其执行另外的程序,并与它进行通信,获取标准的输入.标准输出.标准错误以及返回码等.更多查看官网:https://docs.python.org/2/library/subprocess.html?highlight=subprocess#frequently-used-arguments 可以通过subproces

通过ssh远程执行命令导入定时任务报错----解决过程

今天在服务器中通过ssh远程执行批量导入定时任务时发生了一个问题:总结如下,远程服务器已设置好ssh秘钥登录,登录用户为普通用户,但已设置好拥有免密sudo权限ssh 1.1.1.1 "sudo su -c "echo '30 5 * * 5 /bin/sh /root/log.sh > /dev/null 2>&1'>>/var/spool/cron/root""没有报错,但是远程机器上并没有定时任务命令没错,第一直觉就是觉得可能是

python 实现ssh远程执行命令 上传下载文件

使用密码远程执行命令 [[email protected] script]# cat daramiko_ssh.py  #!/usr/bin/env python #_*_coding:utf-8 _*_ __author__ = 'gaogd' import paramiko import sys,os host = sys.argv[1] user = 'root' password = 'ddfasdsasda2015' cmd = sys.argv[2] s = paramiko.SSH

ssh 远程执行命令

SSH 是 Linux 下进行远程连接的基本工具,但是如果仅仅用它来登录那可是太浪费啦!SSH 命令可是完成远程操作的神器啊,借助它我们可以把很多的远程操作自动化掉!下面就对 SSH 的远程操作功能进行一个小小的总结. 远程执行命令 如果我们要查看一下某台主机的磁盘使用情况,是不是必须要登录到目标主机上才能执行 df 命令呢?当然不是的,我们可以使用 ssh 命令在远程的主机上执行 df 命令,然后直接把结果显示出来.整个过程就像是在本地执行了一条命令一样: $ ssh [email prote