推荐序一
在全球“互联网＋”的大背景下，互联网创业企业的数量如雨后春笋般大量产生并得到了快速发展！对“互联网＋”最有力的支撑就是Linux运维架构师、云计算和大数据工程师，以及自动化开发工程师等！
但是，随着计算机技术的发展，企业对Linux运维人员的能力要求越来越高，这就使得很多想入门运维的新手不知所措，望而却步，甚至努力了很久却仍然徘徊在运维岗位的边缘；而有些已经工作了的运维人员也往往是疲于奔命，没有时间和精力去学习企业所需的新知识和新技能，从而使得个人的职业发展前景大大受限。
本书就是在这样的背景下诞生并致力于为上述问题提供解决方案的，本书是作者余洪春先生10多年来一线工作经验的“再”结晶，此前作者已经出版过Linux集群方向的图书（《构建高可用Linux服务器》），本次出版的书是作者对运维行业的再回馈。
书中不仅涵盖了入门运维人员必须了解的IDC和CDN服务的选型、Linux系统及常见服务的优化实践内容，还有对于企业运维人员需要的大规模集群场景下必备的运维自动化Shell和Python企业开发应用实践案例、热门的自动化运维工具的企业应用实践、大规模集群及高可用的企业案例分享与安全防护等。
本书能够帮助运维人员掌握业内运维实战专家的网站集群的企业级应用经验的精髓，从而以较高的标准胜任各类企业运维的工作岗位，并提升自己的运维职业发展竞争力，值得一读！
—老男孩 老男孩Linux实战运维培训中心总裁
《跟老男孩学Linux运维：Web集群实战》作者
推荐序二
本书作者余洪春先生和我相识于ChinaUnix举办的一次技术交流活动——“千万级PV高性能高并发网站架构与设计交流”，当时他已经在宣传自己的第一本著作——《构建高可用Linux服务器》，该书凝聚并整合了他多年来在一线工作的经验结晶，以至时至今日，该书仍是一本在国内非常经典的运维原创著作，现在已经更新到第三版，这种对技术不断进行完善的坚持及工匠精神让我深深折服。这次能受邀为他的新书《Linux集群和自动化运维》写推荐序，让我倍感荣幸。
本书覆盖了Linux集群服务的核心技术，同时还介绍了基于Python语言构建的主流自动化运维工具，包括Python脚本、Fabric、Ansible等，这些都是DevOps工具元素周期表中最闪亮的内容，也是运维人员必备的技能。本书中分享的案例是余洪春多年实战经验的精华，具有非常高的参考价值及借鉴意义。
书中内容从互联网业务平台构建及自动运维的场景出发，以常见的业务服务为基础，给出了大量的实战案例，这些都是作者在十余年的互联网运维工作中总结出来的宝贵经验，相信会给读者带来不少启发及思考。
更难能可贵的是，作者能从通俗易懂的角度出发，由浅入深地剖析自动运维管理之道。对于不同水平层次的读者来说，都能有效地阅读和吸收，也能根据实际需要各取所需。
最后，感谢余洪春给中国互联网从业者带来这么好的图书，我相信阅读本书的每一位读者都能从中获取提升的能量，为企业及行业做出自己的贡献。
—腾讯高级工程师 刘天斯
前言
为什么要写这本书
笔者从事系统运维和网站架构设计的工作已有10多年，现在在一家外企担任云平台架构师。云计算是现在的主流技术，未来也有很好的发展趋势，云计算的流行对于传统的运维知识体系来说，其实也造成了冲击，有很多读者经常向笔者咨询工作中的困惑，比如从事系统运维工作3～5年后就不知道该如何继续学习和规划自己的职业生涯了。因此笔者想通过此书，跟大家分享一下自己的工作经验和心得（包括传统运维和云平台运维工作的区别与对比），以期解决大家在工作中的困惑。本书提供了大量项目实践和线上案例，希望能让大家迅速了解Linux运维人员的工作职责，快速进入工作状态并找到成长方向。希望大家通过阅读此书，能够掌握Linux系统集群和自动化运维及网站架构设计的精髓，从而能够轻松愉快地工作，并提升自己的职业技能，这就是笔者写作此书的初衷。
运维架构师之路
在成为运维架构师之前，笔者从事过很长一段时间的系统集成、运维和管理工作，在CDN门户网站、电子广告、电子商务领域也有不少的沉淀和积累，在之前的《构建高可用Linux服务器》一书中已经跟大家分享了很多跟Linux集群有关的知识。笔者目前的主要工作职责是维护和优化公司的DSP电子广告业务平台，主要方向是云计算和大数据方面。需要维护的数据中心和机器数量非常之多，所以自动化运维和DevOps是目前的主要工作方向，此外，也会涉及网站架构设计及调优工作，因此在此书中特意将这部分工作经验分享出来，希望大家能从中学到新的知识体系，借以提升自己的职业技能。
读者对象
本书适合以下读者阅读。
中高级系统管理员
系统架构设计师
高级程序开发人员
运维开发工程师
如何阅读本书
本书是笔者对实际工作中积累的技术和经验所做的总结，涉及大量的知识点和专业术语。全书总共分为三大部分，第一部分包含第1章和第2章，主要讲解进行系统架构设计的软硬件环境，以及生产环境下的Shell脚本和Python脚本。其中，第2章的内容是以Shell为主，Python为辅，Shell部分讲得比较详细，Python部分需要重点关注的地方也有所提及。之所以这样安排，主要是考虑到大多数搞开发的读者或DevOps工程师都是Java程序员出身，对Shell脚本语言不是很熟悉。第二部分包含第3章、第4章和第5章，主要讲自动化运维，包括Fabric、Ansibel和Puppet三大工具，大家可以结合自己的实际环境来选择对应的工具。第三部分包含第6章、第7章和第8章，主要讲的是Linux集群和网站架构设计，特别是第8章，分别以百万PV、千万PV及亿级PV的网站为例来详细说明网站系统架构设计的相关技术，然后细分五层来解说网站的架构，并指出了设计网站的压力及关注点所在。大家可以根据自己的职业发展和工作需求来选择不同的章节进行阅读或学习。
关于本书中的配置文件、Shell脚本和Python脚本的编号，这里也略作说明，比如1.5.3节中有1.sh，表示这是1.5.3节的第一个Shell脚本；如果是2.py，则表示是1.5.3节的第二个Python脚本；其他依此类推，在哪个章节中出现的配置文件或脚本就在哪个章节中寻找，这样对照起来阅读理解会比较方便。此外，书中多次出现的Nginx配置文件nginx.conf也在对应的章节里。本书相关的GitHub地址为https://github.com/yuhongchun/automation。
勘误
尽管笔者花费了大量的时间和精力来核对文件和语法，但书中难免还会存在一些错误和纰漏，如果大家发现有任何问题，都请及时反馈给我，相关信息可以发到个人邮箱[email protected]。尽管无法保证对于每一个问题都会有一个正确答案，但我肯定会努力回答并且指出一个正确的方向。
致谢
感谢爱女媛媛的出生，你的降临是上天赐给我的最好礼物，是我进行写作的源泉和动力。
感谢我的家人，他们在生活上对我的照顾无微不至，让我有更多的精力和动力去工作和创作。
感谢好友三宝这么多年来对我的信任和支持，从始至终一直都在支持和信任我。
感谢机械工业出版社华章公司的编辑杨福川和杨绣国，在你们的信任、支持和帮助下，我才能如此顺利地完成全部书稿。
感谢好友老男孩和刘天斯，闲暇之余和你们一起交流开源技术和发展趋势，也是一种享受。
感谢Linux之父—Linus Torvalds，他不仅创造了Linux系统，而且还创造了Git这么神奇的版本管理软件。
余洪春（抚琴煮酒）
中国，武汉
目录
推荐序一
推荐序二
前言
第1章 系统架构设计的构建基础
1.1 网站架构设计相关术语
1.1.1 什么是HTTP 1.1
1.1.2 什么是Web 2.0
1.1.3 软件开发C/S结构与B/S结构的区别
1.1.4 评估网站性能的专业术语
1.2IDC机房的选择及CDN的选型
1.3 如何根据服务器应用选购服务器
1.4CentOS 6.4 x86_64最小化安装后的优化
1.4.1 系统的基础优化
1.4.2 优化Linux下的内核TCP参数以提高系统性能
1.4.3CentOS 6.4 x86_64系统最小化优化脚本
1.4.4Linux下CPU使用率与机器负载的关系与区别
1.5MySQL数据库的优化
1.5.1 服务器物理硬件的优化
1.5.2 利用tuning-primer脚本来调优MySQL数据库
1.6 小结
第2章 生产环境下的Shell和Python脚本
2.1Shell和Python语言的简单介绍
2.2Shell编程基础
2.2.1Shell脚本的基本元素
2.2.2Shell特殊字符
2.2.3 变量和运算符
2.3Shell中的控制流结构
2.4sed的基础用法及实用示例
2.4.1sed的基础语法格式
2.4.2sed的用法示例
2.5awk的基础用法及实用示例
2.6 生产环境下的Shell和Python脚本分类
2.6.1 备份类脚本
2.6.2 统计类脚本
2.6.3 监控类脚本
2.6.4 开发类脚本
2.6.5 自动化类脚本
2.7 小结
第3章 轻量级自动化运维工具Fabric详解
3.1Python语言的应用领域
3.2 选择Python的原因
3.3Python的版本说明
3.4 增强的交互式环境IPython
3.5Python(x,y)介绍
3.6 轻量级自动化运维工具Fabric介绍
3.6.1Fabric的安装
3.6.2 命令行入口fab命令详解
3.6.3Fabric的核心API
3.7Fabric应用实例
3.7.1 开发环境中的Fabric应用实例
3.7.2 线上环境中的Fabric应用实例
3.8 小结
第4章 自动化部署管理工具Ansible简介
4.1YAML语言介绍
4.2Ansible的安装步骤
4.3 利用ssh-keygen设置SSH无密码登录
4.4Ansible常用模块介绍
4.5playbook介绍
4.6 角色
4.7Jinja2过滤器
4.8 小结
第５章 自动化配置管理工具Puppet
5.1Puppet的基本概念及介绍
5.1.1Puppet简介
5.1.2 学习Puppet应该掌握Ruby基础
5.1.3Puppet的基本概念及工作流程介绍
5.2 安装Puppet前的准备工作
5.3Puppet的详细安装步骤
5.4Puppet的简单文件应用
5.5Puppet的进阶操作
5.5.1 如何同步Puppet-Client端上的常用服务
5.5.2 如何在Puppet-Client端自动安装常用的软件包
5.5.3 如何自动同步Puppet-Client端的yum源
5.5.4 如何根据不同名字的节点机器推送不同的文件
5.5.5 如何根据节点机器名选择性地执行Shell程序
5.5.6 如何快速同步Puppet-Server端的www目录文件
5.5.7 如何利用ERB模板来自动配置Apache虚拟主机
5.5.8 如何利用ERB模板来自动配置Nginx虚拟主机
5.6Puppet的负载均衡方式
5.7 用GitHub来管理Puppet配置文件
5.8 小结
第6章 Linux防火墙及系统安全篇
6.1 基础网络知识
6.1.1 OSI网络参考模型
6.1.2 TCP/IP三次握手的过程详解
6.1.3 Socket应用及其他基础网络知识
6.2 Linux防火墙的概念
6.3 Linux防火墙在企业中的应用
6.4 Linux防火墙的语法
6.5 iptables的基础知识
6.5.1 iptables的状态state
6.5.2 iptables的conntrack记录
6.5.3 关于iptables模块的说明
6.5.4 iptables防火墙初始化的注意事项
6.5.5 如何保存运行中的iptables规则
6.6 如何流程化编写iptables脚本
6.7 学习iptables应该掌握的工具
6.7.1 命令行的抓包工具TCPDump
6.7.2 图形化抓包工具Wireshark
6.7.3 强大的命令行扫描工具Nmap
6.8 iptables简单脚本：Web主机防护脚本
6.9 线上生产服务器的iptables脚本
6.9.1 安全的主机iptables防火墙脚本
6.9.2自动分析黑名单及白名单的iptables脚本
6.9.3利用recent模块限制同一IP的连接数
6.9.4利用DenyHosts工具和脚本来防止SSH暴力破解
6.10 TCP_Wrappers应用级防火墙的介绍和应用
6.11 工作中的Linux防火墙总结
6.12 Linux服务器基础防护知识
6.13 Linux服务器高级防护知识
6.14 如何防止入侵
6.15小结
第7章 Linux集群及项目案例分享
7.1负载均衡高可用核心概念及常用软件
7.1.1什么是负载均衡高可用
7.1.2以F5 BIG-IP作为负载均衡器
7.1.3以LVS作为负载均衡器
7.1.4以Nginx作为负载均衡器
7.1.5以HAProxy作为负载均衡器
7.1.6高可用软件Keepalived
7.1.7高可用软件Heartbeat
7.1.8高可用块设备DRBD
7.1.9四、七层负载均衡工作流程对比
7.2负载均衡关键技术
7.2.1什么是Session
7.2.2什么是Session共享
7.2.3什么是会话保持
7.3负载均衡器的会话保持机制
7.3.1LVS的会话保持机制
7.3.2Nginx负载均衡器中的ip_hash算法
7.3.3HAProxy负载均衡器的source算法
7.3.4服务器健康检测技术
7.4Linux集群的项目案例分享
7.4.1案例分享一：用Nginx+Keepalived实现在线票务系统
7.4.2案例分享二：企业级Web负载均衡高可用之Nginx+Keepalived
7.4.3案例分享三：Nginx主主负载均衡架构
7.4.4案例分享四：生产环境下的高可用NFS文件服务器
7.4.5案例分享五：生产环境下的MySQLDRBD双机高可用
7.4.6案例分享六：生产环境下的MySQL数据库主从同步
7.4.7案例分享七：HAProxy双机高可用方案之HAProxy+Keepalived
7.4.8案例分享八：巧用DNS轮询做负载均衡
7.5软件级负载均衡器的特点介绍与对比
7.6网站系统架构设计图
7.7小结
第8章 浅谈网站系统架构设计
8.1网站架构设计规划预案
8.1.1利用经验，合理设计
8.1.2规划好网站未来的发展
8.1.3合理选用开源软件方案
8.1.4机房及CDN选型
8.1.5节约成本
8.1.6安全备份
8.2百万级PV高可用网站架构设计
8.3千万级PV高性能高并发网站架构设计
8.4亿级PV高性能高并发网站架构设计
8.5细分五层解说网站架构
8.6小结
附录AHAProxy 1.4的配置文档
附录Brsync及inotify在工作中的应用
附录C 用Supervisor批量管理进程