运维杂记-05

运维技术学习的2个方向 开源和底层

现在有出现托管云,供应商帮你做私有云租用给你

DAS DELL MD系统 块存储 直连式存储 {数据库 一般不用于文件和日志}
SAN 存储光纤连接
IBM DS系统 DS5300 官方报价100多万
控制器+笼子 光纤+到光纤交换机 服务器有HBA卡 pci-e 两个高可用,
可以用于
Oracle RAC
IBM DS5300

iSCSI
硬盘 DAS 直连 SAN 存储区域网 iSCSI

硬盘格式化成文件系统 就成了 文件存储
硬盘不格式也可以用, mysql和Oracle
硬盘不分区也可以用 可以直接格式 然后mount
4T盘不用分区
严格意义上用 uuid 挂载磁盘,如果用/dev/sdx 有安全隐患,硬盘顺序会变
运维 需要减少运维对象,运维对象和故障点是对应的 避免使用lvm

所有的NAS 都是文件存储,Network Attached Storage  {NFS}

NFS 权限问题 比如www的uid必须要一样
NFS标准化:所有服务器用户的UID统一
自定义 useradd 指定uid
举例 用户只用root和www 所有的服务都用www
NFS默认的传输协议是UDP 不需要重新mount
如果使用tcp 如果服务器挂了 要重新mount
缺点:延迟大,高性能的读写是不行的
df -h卡半天不处理,nfs挂载访问不了
NFS ---- rsync --------- NFS (单向同步,不能双向同步)

应用层面解决所有问题!
比如:ip访问控制
存储级别的灾备都被淘汰了
比如 数据库就数据库复制
如果从底层去走就不可控,比如 drbd
raid6 可以坏2块 6块盘
如果硬盘多可以做热备盘 raid5
所有的系统用raid1
全局热备盘 可以用 如果磁盘规格不一样,那么转速得一样,容量只能大
不能小,
1、品牌统一的情况下。容量大可以。容量小不行
磁带库 已经被淘汰
NFS
php和java 都有文件分发功能

P2P开源的 python写的
生成的文件按照目录存储,今年的挂在本地,old文件挂载nfs
不知道的问题或无法解决的问题,用时间去解决,等待 时间会解决一些问题。
技术不是唯一的核心竞争力,对待问题的解决方案。
比如:性能出现问题,技术想到的就是调优
业务调优---架构调优---应用调优--系统调优----硬件调优
方法论:
1.技术 2.管理

假如现有一台DELL存储服务器,一共是32T,但是现在用户存储的数据量硬盘已经达到99%了,如何扩容,或者要怎样的解决方案呢 做的是NFS
1.分类管理 2.我能不能不扩容 (垂直扩展,终究是有瓶颈的)
横向扩展:1.能不能把老数据移动到新的存储服务器上 2.是否有过期并不在使用的数据,可以删除 3.是否可以进行业务读写调整。例如业务A使用存储A 业务B使用存储B

面试的时候:思维要发散
在老司机眼里没有解决不了的问题
比如:用子网卡 解决lvs vip问题流量统计问题

10-20M fastdfs 文件是什么样就存什么样子 不支持mount,只支持api(php java等)
缺点不能mount

ceph
文件存储 块存储 对象存储 三合一 调用
万兆网卡 有rj45和光纤种
阿里云私有云 阿里云战略投资zstack和公有云
1.体系结构,先快速安装,然后再学手动安装,然后如何和openstack关联
docker 存储的插件只有 glaster存储
http://docs.ceph.org.cn/rbd/rbd-openstack/
glusterfs 集群不建议超过20节点 节点越多 复制越多 是网状结构 没有研发团队
让集群小一点
mysql读写分离
建议应用程序去做,代码很容易实现。mycat?实时性要求高的
一主多从,从库要设置readonly
mycat 读写分离 量大了不稳定 不建议核心的业务使用mycat 比如 涉及到钱的
彩票 ERP 用的orecle存储过程
分库分表 uid 日活上千万
设计表的时候留几个空字段
TiDB 可以存监控 支持大量数据
ansible 被红帽收购
rhce的教程知识点很全
java css js 北大青鸟

https://github.com/alibaba/LVS?spm=5176.100239.blogcont1803.5.mcYYAb

http://tengine.taobao.org/?spm=5176.100239.blogcont1803.6.mcYYAb

https://github.com/unixhot/waf

P2P分发大文件
http://www.361way.com/python-p2p/4737.html
http://www.cnblogs.com/shhnwangjian/p/6640047.html

http://jaminzhang.github.io/p2p/use-Murder-to-distribute-big-software-package-in-production-environment/

http://ssdb.io/zh_cn/

https://www.unixhot.com/search/q-TGV2ZWxEQiA=#all

https://github.com/ideawu/ssdb-docs/blob/master/pdf/SSDB%E5%85%A5%E9%97%A8%E5%9F%BA%E7%A1%80.pdf

https://www.ibm.com/developerworks/cn/linux/l-fuse/index.html

http://docs.ceph.org.cn/

http://docs.ceph.org.cn/rbd/rbd-openstack/

时间: 2024-10-31 10:18:45

运维杂记-05的相关文章

运维杂记-02

################################################### 当我们系统架构出现瓶颈的时候一般扩展方法分为: 纵向扩展也可以叫垂直扩展,比如扩充服务器的cpu 1颗到2颗 内存8G到16G 磁盘容量扩容... 横向扩展也可以叫水平扩展,比如web服务器从1台,增加到2台... ###################################################负载均衡实现方法  之 http的header头    DNS轮询 http

DevOps Workshop 研发运维一体化(成都站) 2016.05.08

成都的培训与广州.上海.北京一样,只是会议室比较小,比较拥挤,大家都将就了.可惜换了电脑以后,没有找到培训时的照片了,遗憾. 培训思路基没有太大变化,基本按照下面的思路进行: 第一天对软件开发的需求管理.项目计划和源代码管理进行的全面而深入的介绍,并且为到会的所有开发人员提供现场动手实验的机会,大家兴致高涨,按照我们的操作手册完成了所有实验课题. 第二天主要介绍了最新的自动化生成.发布.测试技术,并且通过动手实验的方式,让所有在场的开发人员亲身体验自动化对软件开发.发布.运维带来的便捷和高效.

运维版MySQL增删改查

整理是最好的记忆 运维经常用到的sql语句,长期更新~~~~~ 1.查看有哪些用户 mysql> select user,host from mysql.user; +------------+-----------+ | user       | host      | +------------+-----------+ | root       | 127.0.0.1 | | mysql_data | localhost | | root       | localhost | | zab

ansible自动化运维必备工具详解

第2章 ansible简单介绍: 2.1 ansible是什么? ansible是新出现的 自动化 运维工具 , 基于Python研发 . 糅合了众多老牌运维工具的优点实现了批量操作系统配置.批量程序的部署.批量运行命令等功能. 仅需在管理工作站上安装 ansible 程序配置被管控主机的 IP 信息,被管控的主机无客户端. ansible 应用程序存在于 epel( 第三方社区 ) 源,依赖于很多 python 组件 python语言是运维人员必会的语言!ansible是一个基于Python开

Linux运维常用知识(4)

linux命令无效-bash: ls: command not found 一次重启后开机,基本所有的命令都不可用,只有少数的命令可用 [[email protected] ~]# ll -bash: ls: command not found [[email protected] ~]# pwd /root [[email protected] ~]# shutdown -r now -bash: shutdown: command not found [[email protected] ~

Linux云自动化运维第四课

Linux云自动化运维第四课 一.vim 1.vim光标移动 1)在命令模式下 :数字  ###移动到指定的行 G  ###文件最后一行 gg  ###文件第一行 2)在插入模式下 i  ###光标所在位置插入 I  ###光标所在行行首 a  ###光标所在字符的下一个位置 A  ###光标所在行行尾 o  ###光标所在行下一行 O  ###光标所在行上一行 s  ###删除光标所在字符插入 S  ###删除光标所在行插入 2.vim的退出模式 :q  ###当用vim打开文件但没有对字符作

运维工具ansible+cobbler+zabbix

运维工作 一.系统 硬件----部署操作系统---多个主机 如何高效的安装操作系统 1.部署在裸机上的操作系统 bare metal pxe预执行环境:网卡自身有一个rom,可以自己加载来获得IP地址,能够到文件服务器上加载bootloader文件,依赖于网卡和网络预先提供的安装服务 但是pxe只能预引导1中操作系统 二次封装的pxe:cobbler 将多版本的操作系统环境支持 * [但是都需要支持pxe] 2.虚拟机器 virtual machine * 二.程序 configurtion 自

自动化运维工具Ansible之Playbooks循环语句

在使用ansible做自动化运维的时候,免不了的要重复执行某些操作,如:添加几个用户,创建几个MySQL用户并为之赋予权限,操作某个目录下所有文件等等.好在playbooks支持循环语句,可以使得某些需求很容易而且很规范的实现. with_items是playbooks中最基本也是最常用的循环语句. - name: add several users   user: name={{ item }} state=present groups=wheel   with_items:      - t

运维老鸟分享linux运维发展路线规划【转】

linux运维发展路线常见的就是下面两条路线: 第一条:运维应用-->系统架构-->运维开发-->系统开发 第二条:运维应用-->应用dba-->架构dba-->开发DBA 下面详细每个阶段的职位说明(以北上广为例): 01.运维应用级别:这个阶段就是玩别人的软件,例如:linux,nginx,mysql,php,nagios  大多数的linux运维工程师,网络工程师,系统工程师都是这个阶段. 这个阶段的工资平均3-10K.处在这个阶段的伙伴们要注意了.这里属于金字塔