高性能可扩展的python自动化运维框架

遇到瓶颈

1、一直在用Python写各种脚本,想做自动化运维平台却有心无力,没有见过大的运维平台怎么做,

2、自己写的脚本在大的场景下是否靠谱,每当讨论说一些基于ssh获取数据执行操作的方式都会被鄙视。

茅塞顿开

迷茫大半年找不到方向,最近在reboot系统学习了下,收获很多,很多疑惑和疑难问题终于解开了。

感谢PC老师讲解,程序对系统利用的深入讲解[cpu\内存的利用\系统的特性],以及怎么定义网络编程私有协议。

几款典型开源软件源码的网络模型剖析,如何真正控制多线程,守护进程如何fork的,封装socket非阻塞的框架,如何制定传输协议。

作品展现:

  • 监控和执行命令流程图

  • 软件目录 [根据需要分分钟撸出一个server]

  • 任务控制服务的传输数据

  • Flask数据接口的请求日志

  • Agent的执行日志

  • Agent的4个线程,可随意扩展随意撸

  • 后台请求页面和数据接口

  • 页面ajax调用数据接口

  • 监控数据出图

哎!前面的数据,6个server同时在一个机器上跑,毫无压力,监控图不好看。。。。我来搞几百个并发shell进程跑跑,把load压上来。

  • 执行命令

发出ajax请求,agent异步处理,传回入库后,再用ajax动态调用数据库API显示

总结:

此架构非常灵活,任意拆装拼接,如果小,可功能集成于一点,如果大,可随意扩展瓶颈,server全部守护进程方式。

以上是这段时间学习的成果,好多优秀的细节无法全面展示,有兴趣的可以联系Reboot运维开发群(365534424)联系群主试听

时间: 2024-07-31 02:09:25

高性能可扩展的python自动化运维框架的相关文章

某群里面同学的投稿 -- 高性能可扩展的python自动化运维框架

Reboot运维开发千人群(365534424)即将爆满 遇到瓶颈: 1.一直在用Python写各种脚本,想做自动化运维平台却有心无力,没有见过大的运维平台怎么做, 2.自己写的脚本在大的场景下是否靠谱,每当讨论说一些基于ssh获取数据执行操作的方式都会被鄙视. 茅塞顿开: 迷茫大半年找不到方向,最近在reboot系统学习了下,收获很多,很多疑惑和疑难问题终于解开了. 感谢PC老师讲解,程序对系统利用的深入讲解[cpu\内存的利用\系统的特性],以及怎么定义网络编程私有协议. 几款典型开源软件源

Python自动化运维课程学习--Day3

本文为参加老男孩Python自动化运维课程第三天学习内容的总结. 大致内容如下: 1.文件操作 2.字符编码转码相关操作 3.函数 0.关于本文中所有运行Python代码的环境: --操作系统:Ubuntu 16.10 (Linux 4.8.0) --Python版本:3.5.2 python2.7.12 --Python IDE: PyCharm 2016.3.2 一.文件操作: 1.文件操作流程:以只读.写(覆盖写).追加写.读写.追加读写.二进制读写等模式打开文件 ==> 得到文件句柄,并

(转)Python自动化运维之13、异常处理及反射(__import__,getattr,hasattr,setattr)

Python自动化运维之13.异常处理及反射(__import__,getattr,hasattr,setattr) 一.异常处理 python异常: python的运行时错误称作异常 (1)语法错误:软件的结构上有错误而导致不能被解释器解释或不能被编译器编译 (2)逻辑错误:由于不完整或不合法的输入所致,也可能是逻辑无法生成.计算或者输出结果需要的过程无法执行等 python异常是一个对象,表示错误或意外情况 (1)在python检测到一个错误时,将触发一个异常 python可以通常异常传导机

Python自动化运维课程学习--Day2

本文为参加老男孩Python自动化运维课程第二天学习内容的总结. 大致内容如下: 1.python模块初识 2.python程序运行流程 3.python数据类型(只讲了numbers, bool, strings, bytes, list, tuple, dict, set) 4.python数据运算 0.关于本文中所有运行Python代码的环境: --操作系统:Ubuntu 16.10 (Linux 4.8.0) --Python版本:3.5.2 --Python IDE: PyCharm

python自动化运维之路~DAY7

python自动化运维之路~DAY7 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.客户端/服务器架构 C/S 架构是一种典型的两层架构,其全称是Client/Server,即客户端服务器端架构,其客户端包含一个或多个在用户的电脑上运行的程序,而服务器端有两种,一种是数据库服务器端,客户端通过数据库连接访问服务器端的数据:另一种是Socket服务器端,服务器端的程序通过Socket与客户端的程序通信. C/S 架构也可以看做是胖客户端架构.因为客户端需要实现绝大多数的业务

python自动化运维之路~DAY10

python自动化运维之路~DAY10 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任.

python自动化运维之集中病毒扫描

1.因为我linux的python是2.6.6,所以因为有些模块是2.7的,先进行升级. 步骤地址:http://www.linuxidc.com/Linux/2014-07/104555.htm 2.安装pyclamd yum install -y clamav clamd clamav-update 安装clamavp的相关程序包 chkconfig --level 235 clamd on /usr/bin/freshclam pyClamd-0.3.15.tar.gz安装包安装 3.vi

电子书 Python自动化运维:技术与最佳实践.pdf

本书在中国运维领域将有"划时代"的重要意义:一方面,这是国内一本从纵.深和实践角度探讨Python在运维领域应用的著作:一方面本书的作者是中国运维领域的"偶像级"人物,本书是他在天涯社区和腾讯近10年工作经验的结晶.因为作者实战经验丰富,所以能高屋建瓴.直指痛处,围绕Python自动化运维这个主题,不仅详细介绍了系统基础信息.服务监控.数据报表.系统安全等基础模块,而且深入讲解了自动化操作.系统管理.配置管理.集群管理及大数据应用等高级功能.重要的是,完整重现了4个

Python自动化运维开发活动沙龙(2015-07-11周六)

Python自动化运维开发活动沙龙 2015-07-11(周六) 场地限制,最多仅限50人参加,报名从速! 亲,已是2015年了,做为运维工程师的你还在手动装机器.配服务.看监控.帮开发人肉上线么?还在发愁如何把每天重复的工作自动化起来么?还在想对开源软件进行二次开发定制却无能为力么?还在对开发人员提出的各种无理需求想进行反驳却因为自己不懂开发却被人鄙视么?还在为自己天天努力工作.到处救火却每月只能挣个十来K而感到不爽么? Maybe yes,maybe no! 但是不要不爽了,你的工资不高是因