linux集群运维工具:clustershell和pssh

由于需要安装hadoop集群,有10台机器需要安装,一开始打算用SCP复制,后来觉得不可接受(实际现场可能数倍的机器集群,就是10台也不想干)。后来在网上找了,发现了clustershell和pssh这两个工具。这两个工具随便用其中一个就可以了。
环境说明:centos6.5机器10台
需求:确定一个主机A,通过在A上执行命令即可同步在其他节点上执行。
前提:首先配置好A对各个机器的密码SSH登陆。

pssh参考网址:http://www.linuxidc.com/Linux/2011-12/49635p2.htm
实现,以pssh为例(需要python环境,也需要setuptools):
1.安装
# tar zxvf pssh-2.3.1.tar.gz
# python ./pssh-2.3.1/setup.py install
# cd ./pssh-2.3.1/bin/

2.建立一个txt文件,这边以flume.txt为名,里面放各节点IP,每一行一个
# ./pssh -P -h ~/flume.txt uptime //测试,查看各节点机器的启动时间
使用:

3.批量从远程机器复制文件到本地
./pslurp -r -h ./host/test.txt -L /usr/local/software /home/hadoop/software software
解释:-L 本地目录  ,/home/hadoop/software 为远程机器目录,software为重命名目录。
假设远程机器有两个A,B,那么复制过来的文件目录为:usr/local/software/A/software和usr/local/software/B/software

4.批量复制本地文件到远程机器
./pscp -r -h ./host/all.txt ../../software /usr/local/software

5.批量执行命令(以新建目录为例,如果目录已经存在,则报错)
./pssh -h ./host/all.txt -P mkdir /usr/local/app

时间: 2024-10-11 13:00:26

linux集群运维工具:clustershell和pssh的相关文章

Linux服务器集群运维经验

公司大概有5000+以上的服务器节点,包括各种应用,我和同事共同维护大约2500+的服务器,主要包括一些视频cdn,直播视频cdn,webcdn和p2p服务器. 以下是自己在运维工作中的一点经验和看法,希望对大家有所帮助 1.       服务器型号的区分,为以后的统一化和标准化作硬件上的准备,很多人忽视这一点,其实如果这一点做得好会使后面的运维工作轻松很多,根据应用我们主要把服务器分为3中,cpu密集型,主要用于大量计算应用,比如p2p;内存密集型,用于cache类应用,比如squid,var

ES 2.0 集群运维命令整理

ES 2.0 集群运维命令整理 _cat命令 _cat用于查看集群当前状态,涉及到shard/node/cluster几个层次 基本参数 verbose: 显示列名, 请求参数为v 示例: curl localhost:9200/_cat/master?v help: 显示当前命令的各列含义, 请求参数为help. 某些命令部分列默认不显示,可通过help该命令可显示的所有列 示例: curl localhost:9200/_cat/master?help bytes: 数值列还原为原始值. 如

阿里巴巴大规模神龙裸金属 Kubernetes 集群运维实践

作者 | 姚捷(喽哥)阿里云容器平台集群管理高级技术专家 本文节选自<不一样的 双11 技术:阿里巴巴经济体云原生实践>一书,点击即可完成下载. 导读:值得阿里巴巴技术人骄傲的是 2019 年阿里巴巴 双11?核心系统 100% 以云原生的方式上云,完美支撑了?54.4w 峰值流量以及?2684 亿的成交量.背后承载海量交易的计算力就是来源于容器技术与神龙裸金属的完美融合. 集团上云机器资源形态 阿里巴巴 双11 采用三地五单元架构,除 2 个混部单元外,其他 3 个均是云单元.神龙机型经过

使用Chef管理windows集群 | 运维自动化工具

但凡服务器上了一定规模(百台以上),普通的ssh登录管理的模式就越来越举步维艰.试想Linux发布了一个高危漏洞的补丁,你要把手下成百上千台机器都更新该补丁,如果没有一种自动化方式,那么至少要耗上大半天时间.虽然你编写了大量的shell(或python,perl)脚本来实现各种自动化场景,但最后会发现你又陷入了脚本的汪洋大海之中,管理和维护这么多的脚本的成本也不小.你需要一款基础设施自动化工具,希望它能具有以下功能. 1批量执行 这个不多说了吧,试想要为每一台机器打补丁的情形吧. 2任务编排 现

近千节点的Redis集群运维经验总结

分享一篇好文章 redis越来越实用了 服务器宕机并恢复后,需要重启Redis实例,因为集群采用主从结构并且宕机时间比较长,此时宕机上的节点对应的节点都是主节点,宕掉的节点重启后都应该是从节点.启动Redis实例,我们通过日志发现节点一直从不断的进行主从同步.我们称这种现象为主从重同步. 主从同步机制 为了分析以上问题,我们首先应该搞清楚Redis的主从同步机制.以下是从节点正常的主从同步流程日志: 17:22:49.763 * MASTER <-> SLAVE sync started17:

Elasticsearch 学习之携程机票ElasticSearch集群运维驯服记(强烈推荐)

转自: https://mp.weixin.qq.com/s/wmSTyIGCVhItVNPHcH7nsA 一.整体架构 为什么采用ES作为搜索引擎呢?在做任何事情的时候,不要一上来就急着了解怎么做这件事情,而是去想想这件事情为什么值得去做. 这个是比较通用的数据的流程,一般会通过Kafka分离产生数据的应用程序和后面的平台,通过ETL落到不同的地方,按照优先级和冷热程度采取不同的存储方式.一般来说,冷数据存放到HDFS,如果温数据.或者热数据会采用Database以及Cache,目前分布式Ca

Linux集群(三)-ipvsadm工具

ipvsadm是什么 LVS由两部分由ipvs与ipvsadm组成,ipvs是LVS的核心实现需要借助管理工具ipvsadm定义LVS集群规则,ipvs根据定义好的规则进行工作. ipvsadm的相关文件 服务名: ipvsadm.service 主程序: /usr/sbin/ipvsadm 规则保存工具: /usr/sbin/ipvsadm-save 规则重载工具: /usr/sbin/ipvsadm-restore 配置文件: /etc/sysconfig/ipvsadm-config ip

linux下自动化运维工具ansible的安装和使用

ansible是基于python语言开发的模块化批量管理工具.ansible无终端,基于ssh实现管理:支持主从模式,支持playbook.实验环境:3台Centos7 .131做为主控节点.130和132做为被控节点.一.在131上安装ansible(1).yum install ansible -y(2).查看ansible版本ansible --version(3).ansible相关的文件rpm -qc ansible/etc/ansible/ansible.cfg #ansible配置

ansible轻量级运维工具使用

Linux轻量级自动运维工具- Ansible 创始人 Michael DeHanan 2012-03-09 同类自动化工具: Ansible Saltstack Puppet Chef Fabric Ansible 特点 agentless (去中心化) 只要保存管理机的认证信息,那么任何一台机器都可以变成管理机 Stupied Simple SSH by default YAML no code 定制剧本 基于python 实现 模块化:调用特定模块,完成特定任务,支持自定义模块 冥等性 -