某群里面同学的投稿 -- 高性能可扩展的python自动化运维框架

Reboot运维开发千人群(365534424)即将爆满

遇到瓶颈

1、一直在用Python写各种脚本,想做自动化运维平台却有心无力,没有见过大的运维平台怎么做,

2、自己写的脚本在大的场景下是否靠谱,每当讨论说一些基于ssh获取数据执行操作的方式都会被鄙视。

茅塞顿开

迷茫大半年找不到方向,最近在reboot系统学习了下,收获很多,很多疑惑和疑难问题终于解开了。

感谢PC老师讲解,程序对系统利用的深入讲解[cpu\内存的利用\系统的特性],以及怎么定义网络编程私有协议。

几款典型开源软件源码的网络模型剖析,如何真正控制多线程,守护进程如何fork的,封装socket非阻塞的框架,如何制定传输协议。

作品展现:

  • 监控和执行命令流程图

  • 软件目录 [根据需要分分钟撸出一个server]


  • 任务控制服务的传输数据

    Flask数据接口的请求日志

  • Agent的执行日志

  • Agent的4个线程,可随意扩展随意撸

  • 后台请求页面和数据接口

  • 页面ajax调用数据接口

  • 监控数据出图

  • 前面的数据,6个server同时在一个机器上跑,毫无压力,监控图不好看。。。。我来搞几百个并发shell进程跑跑,把load压上来。
  • 执行命令

    发出ajax请求,agent异步处理,传回入库后,再用ajax动态调用数据库API显示

总结:

此架构非常灵活,任意拆装拼接,如果小,可功能集成于一点,如果大,可随意扩展瓶颈,server全部守护进程方式。

以上是这段时间学习的成果,好多优秀的细节无法全面展示,有兴趣的可以联系Reboot运维开发群(365534424)

    时间: 2024-10-16 03:09:18

    某群里面同学的投稿 -- 高性能可扩展的python自动化运维框架的相关文章

    高性能可扩展的python自动化运维框架

    遇到瓶颈: 1.一直在用Python写各种脚本,想做自动化运维平台却有心无力,没有见过大的运维平台怎么做, 2.自己写的脚本在大的场景下是否靠谱,每当讨论说一些基于ssh获取数据执行操作的方式都会被鄙视. 茅塞顿开: 迷茫大半年找不到方向,最近在reboot系统学习了下,收获很多,很多疑惑和疑难问题终于解开了. 感谢PC老师讲解,程序对系统利用的深入讲解[cpu\内存的利用\系统的特性],以及怎么定义网络编程私有协议. 几款典型开源软件源码的网络模型剖析,如何真正控制多线程,守护进程如何fork

    新书《Linux集群和自动化运维》目录

    推荐序一 在全球"互联网+"的大背景下,互联网创业企业的数量如雨后春笋般大量产生并得到了快速发展!对"互联网+"最有力的支撑就是Linux运维架构师.云计算和大数据工程师,以及自动化开发工程师等! 但是,随着计算机技术的发展,企业对Linux运维人员的能力要求越来越高,这就使得很多想入门运维的新手不知所措,望而却步,甚至努力了很久却仍然徘徊在运维岗位的边缘:而有些已经工作了的运维人员也往往是疲于奔命,没有时间和精力去学习企业所需的新知识和新技能,从而使得个人的职业发

    Nginx+Lua+Redis整合实现高性能API接口 - 网站服务器 - LinuxTone | 运维专家网论坛 - 最棒的Linux运维与开源架构技术交流社区! - Powered by Discuz!

    Nginx+Lua+Redis整合实现高性能API接口 - 网站服务器 - LinuxTone | 运维专家网论坛 - 最棒的Linux运维与开源架构技术交流社区! - Powered by Discuz! log.latermoon.com/

    linux运维好书《高性能Linux服务器构建实战Ⅱ》已出版发售,附封面照!

    经过近2年的酝酿,几个月的修正,<高性能Linux服务器构建实战Ⅱ----系统安全.故障排查.自动化运维与集群架构>一书出版在即,马上就要与读者见面了. <高性能Linux服务器构建实战Ⅱ----系统安全.故障排查.自动化运维与集群架构>仍 然沿用了<高性能Linux服务器构建实战---运维监控.性能调优.集群应用>的写作特点:实战.实用.通俗.易懂的特点,而在内容上更加实战化,从运 维的多个方面以近似真实的环境介绍运维工作中的各个方方面面,与第一本书不同的是,此书新增

    linux运维好书推荐:《高性能Linux服务器构建实战Ⅱ》热销中,附实例源码下载

    由国内著名技术社区ChinaUnix.51CTO鼎力推荐.华章图书出品.2014年南非蚂蚁(高俊峰)最新技术力作:<高性能Linux服务器构建实战----系统安全.故障排查.自动化运维与集群架构>,已经上架发行,此书是<高性能Linux服务器构建实战---运维监控.性能调优.集群应用>的姊妹篇,仍然沿用了实战.实用.通俗.易懂的写作特点,在内容上更加实战化,从运维的多个方面以近似真实的环境介绍运维工作中的各个方方面面,此书新增加了运维中很容易忽略但是又是非常重要的安全章节,这部分内

    运维最恨 4 件事:开发同学能帮忙做点啥?

    运维最恨 4 件事:开发同学能帮忙做点啥? 05 MAY 2015 on 行业新闻 DevOps 这个词表明,开发和运维需要通力合作.然而在现实生活中,双方都会有不同的工作职责,同时看待问题的视角也不尽相同.大多数情况下,都是运维一方得到不公正待遇.为了让开发人员能更好地理解运维同学,而且能帮忙解决一些问题,本文分享了一些经验和看法.  1. 不断涌现出新开发技术 一般而言,开发人员通过产品功能来衡量工作成果,而系统管理员和运维团队则由稳定性指标来进行考量,后者往往反对这些新技术.开发同学使用这

    运维小知识之nginx---nginx配置Jboss集群负载均衡

    codyl 2016-01-26 00:53:00 浏览385 评论0 负载均衡 转自 运维小知识之nginx---nginx配置Jboss集群负载均衡-博客-云栖社区-阿里云https://yq.aliyun.com/articles/17925 运维小知识之nginx---nginx配置Jboss集群负载均衡 背景 紧接着上一篇博客<运维小知识---CentOS6.5安装nginx配置nginx sticky>安装完成之后剩下的工作就是配置了,其实如果我们想要去做负载均衡session共享

    java架构师、集群、高可用、高可扩展、高性能、高并发、性能优化

    15套java架构师.集群.高可用.高可扩展.高性能.高并发.性能优化.Spring boot.Redis.ActiveMQ.Nginx.Mycat.Netty.Jvm大型分布式项目实战视频教程 视频课程内容包含: 高级Java架构师包含:Spring boot.Spring  cloud.Dubbo.Redis.ActiveMQ.Nginx.Mycat.Spring.MongoDB.ZeroMQ.Git.Nosql.Jvm.Mecached.Netty.Nio.Mina.性能调优.高并发.to

    高俊峰——运维工程师如何逆袭,11月30号QQ群575837909视频直播

    时间:11月30号晚8点-9点30. 地点:QQ群直播 575837909  分享老师:高俊峰 IT系统架构专家,上海好耶集团运维总监,畅销书<循序渐进Linux>.<高性能Linux服务器构建实战>作者,51CTO专家博主. 分享内容:运维工程师如何逆袭 分享大纲: 2016年11月30号晚上8点准时开始 课前活动:到场学员晚7:58开始签到,前10名签到学员奖励100学分. 晚8:00-8:15,高俊峰老师的个人运维成长经验(15分钟) 晚8:15-9:10,运维工程师逆袭需要