【WOT】听2015年北京WOT互联网运维与开发者大会随记

2015年4月10日(咱大北京今个天气不错啊),参加了2015年北京的WOT会议,感触还是有的,想着来这做个笔记,顺便写写自己的想法!

收获最多的是今天(10日)下午,数据库技术与应用专场,干货很多,赞。

1、Percona在美团的实践

之前听到过percona,还有MariaDB,今天这哥们讲了下percona在美团的使用(这些土豪公司还是愿意和敢于去尝试新的东西,所谓的试错吧)。

1)丰富的功能,比如使用set global userstat = on ,可以查看当前实例连接。

2)相应时间。可以查看SQL执行时间分布。

3)监控报警。(比较关心这块,最近就在负责这块)使用percona+zabbix可以实现图表和报警功能。

4)Thread Pool。说是官方的MySQL版本这个东东是要收费的,线程池嘛,说白了,就是缓存数据库连接,按需取来直接用。

5)innodb_deadlocks。可以查看表锁情况。mysql不是也可以吗?好像说是这个可以看上次死锁情况。

6)max_binlog_files。这个让我想起Mongodb的capped collection,就是定容性能。不用关心磁盘会被写爆。

7)xtrabackup。在线热备工具,这个是xtradb的吗,听说xtradb引擎和Innodb有的一拼啊。

8)Toolkit。这里大牛介绍了四个小工具。pt-query-digest、pt-kill、pt-online-schema-change、pt-duplicate-key-checker。这里说下pt-online-schema-change,它主要用于修改大表ddl时不用锁表,比如增删字段等,它的原理是给新数据创建触发器写入新表,再将老数据通过insert
select的方式写入新表。这个有机会可以尝试下。

2、MySQL在58的使用

话说是58的技术委员会成员,架构师,侧重于开发数据库方向。(膜拜大牛)这哥们提的最多的就是用MySQL玩大数据。怎么玩呢?

1)数据库基础知识。分片、复制、分组、路由(range/hash/route-config-server)

2)大数据量常见问题。保证可用性、各种读写比、无缝导库、加字段、扩容等等。

3)可用性=》复制,各种读写比=》针对性设计(比较赞同这个),双写入+追日志,水平切分。

4)如何无缝导库?

a.
如果业务允许,强烈推荐锁表执行。(风险小?简单?快速?)

b.双写导库。我的理解就是导入老数据,打开双写机制,直到数据一致。他提到过从Mongodb导到MySQL,如果数据量大,如何保证数据一致呢?追日志!

5)拆库。这里讲解了4种场景

a.单key,如User表。这个好整,也相对简单,比如uid range就可以了。

b.一对多,如tiezi表。 这个包括uid,tid两个key,他提出的方式是通过tid拆分,并给uid添加tid的分库标识,这样通过user表就可以轻松找到用户发表帖子所在库了。

c.多对多,如friend关系表。(这个没听清楚)

d.多key,如order表。oid、buyer_id、seller_id,这里说是牺牲seller_id查询性能,不做拆分。

6)海量数据下MySQL怎么玩?这里没怎么记录,感触最深的就是,切实于业务需要实现,在技术上实现有损服务,所以,我们做技术,说白了就是服务于业务的,如果不了解业务,是给公司做不好技术的!

比如,跨库实现分页,怎么玩?结合业务,只做上一页和下一页,去掉跳页实现,这样就简化为id>100 limit 100

3、腾讯计费多维化监控体系-鹰眼系统。

因为数据库分会场第三场讲个什么云,就跑来这场会议了(国内出来了很多玩云的公司了,哎!)

这里讲个两个主题:1)实时业务监控(storm)2)变更专项监控(觉得这个很重要,在最早公司,听到最多的就是线上变更出现故障了,所以这个很重要啊)

包括监控体系:

基础监控

应用系统监控

离线任务监控

实时业务监控

变更专项监控

最后一个话题,也是我们准备要做的:基于微信公众号的监控报警及查询。

4、新浪数据库平台备份系统介绍

听了这个哥们Title挺高的,好像是个DBA主管。

备份的意义

第一阶段:满足需求

第二阶段:集中管理

第三阶段:效率与安全

听了这个,让我想起,现在很多小公司,尤其是初创公司,一味的追求一步到位,一开始就高薪挖来所谓的“大牛”,给公司设计和建设所谓的“架构”,到头来本末倒置,架构没建成,连核心业务也失去了竞争优势,最后只能悲悲而归啊。

你们说是平台造就了大牛,还是大牛造就了平台呢?

我觉得是,菜鸟到了平台,平台飞速发展,过程中呢,碰到了很多很多问题,并给一一解决掉了,然后就成了大牛了。所以说,是平台造就了大牛,大牛也造就了平台。

OK,回到正题,这里的备份,这哥们主要聊了下,他们从一开始几十个实例到几千上万个实例过程中,就备份这个点,是如何演变的。记得比较深的是,他们居然没有用到增量备份。有必要吗?哈哈

对了,突然想起早上会场上,印象比较深的一个帅哥,title很高,google美国总部资深架构师,讲了个DI实践(依赖注入),用的JAVA做的示例,面向对象,全部英文PPT,海归就是档次高。

今天就扯这么多了,个人感觉,所谓的WOT会议(第一次参加),包括多了点广告(这个还是能理解滴),但是干货还是有的,有干货就值了。

最后,还是要感谢下51CTO,感谢下大牛,希望WOT越办越好!明天继续!

PS:如果以上有误,希望看到的伙计,帮给指正下,谢了!

时间: 2024-10-12 04:03:28

【WOT】听2015年北京WOT互联网运维与开发者大会随记的相关文章

WOT2015 互联网运维与开发者大会上的演讲

参加WOT2015 互联网运维与开发者大会 发表演讲 World Of Tech 2015 ,IT技术人的世界!作为51CTO传媒万众瞩目的开年力作,WOT2015互联网运维与开发者大会已经圆满结束,为运维开发人员"私人订制"2+1天的狂欢盛宴,逾千名IT技术人.业界精英齐聚一堂,值得你跨越万水千山一探究竟. 本人很荣幸地受邀参加本次大会,发表了关于开源安全信息管理平台最佳实践的演讲,并就相关专业领域和与会嘉宾互动. 演讲嘉宾介绍:http://wot.51cto.com/2015op

传统运维与互联网运维差异

概述 近一年,关于传统运维与互联网运维的探讨越来越多,在运维体系快速变革地环境下,运维未来的走向,便成为运维行业的关注点. 那么: 到底什么是传统运维体系?什么是互联网运维体系?他们的特点,异同在哪?从哪里来到哪里去? 本文将从以下角度探讨两大运维体系. 商业封闭式系统架构 vs 开源系统架构辨析 传统运维 vs 互联网运维辨析 去IOE运动辨析 运维发展趋势辨析 1.商业封闭式系统架构 vs 开源系统架构辨析 每个单位组织的IT环境,不论大小复杂度,总会有个系统架构层次.有了这个架构体系,那所

互联网运维工作的三个层次

1.有基本的基础设施监控手段,比如nagios,zabbix.能及时处理问题,保障业务可用性,平时不太主动深入分析和观察系统,工作更多依赖于人的技能熟练程度,缺乏完善的运维工作流程和文档习惯. 2.对平台实施深入观察,开展容量管理,安全管理等主动预防工作,定期提交详细报告.有自己的运维软件,不断推进自动化运维,提升运维效率,节省运维成本.新项目前期就有运维专家参与,从可服务性,可维护性角度影响项目方案,而不只是被动成为研发的最后一个环节. 3.公司高层是否在意识上愿意将运维提升为公司品牌的核心竞

关于nspm品类产品在行业用户网络架构中的研究分析(建议安全自动化运维工具开发者,了解)

为配合NSPM产品在不同行业不同类型的网络架构中最大限度的发挥产品优势,探索不同网络架构中对产品的适配性.分多个行业目前的传统网络架构与未来演进的架构进行深入调研. 从目前数据中心所使用协议的数据层上看,IT方案都是以二/三层网络(例如以太网+IP网络)为基础的,例如GRE.VXLAN等等,其解决和设计方案就是为了解决现有网络的缺陷和不足,为某一个特定问题而设计的.而现有的二/三层网络本质问题并没有得到有效的解决,网络潜在的资源并未得到有效的利用,安全问题也并有效的管理和抑制.以下我们对不同行业

《开源安全运维平台-OSSIM最佳实践》已经上市

<开源安全运维平台-OSSIM最佳实践>已上市 经多年潜心研究开源技术,历时三年创作的<开源安全运维平台OSSIM最佳实践>一书即将出版.该书用100多万字记录了作者10多年的OSSIM研究应用成果,重点展示了开源安全管理平台OSSIM在大型企业网运维管理中的实践.国内目前也有各式各样的运维系统,经过笔者对比分析得出这些工具无论在功能上.性能上还是在安全和稳定性易用性上都无法跟OSSIM系统想媲美,而且很多国内的开源安全运维项目在发布几年后就逐步淡出了舞台,而OSSIM持续发展了十

听业内人士谈谈IT运维到底有没有意思?(续)-PIGOSS BSM

李虓,someone who still have dream 我 以前做过开发,现在在做运维.但我认为大部分人对这个职位还是普遍存大着很多误解,因为出现的时间和发展的时间不够长.本身互联网运维的目标就是保证产品 (网站/应用)能够正确无误的运行以支持整体商业目标 规模上去之后你会发现这个运维可以包括太多的东西,也可以细分成无数的子部门.    互联网公司的一个特点应该是快速开发周期,在SOA的框架下可以分成很多小service,如此多的service在开发.发布的过程中遇到的一系列问题,都需要

[转载]系统运维秘诀大分享专题

系统运维秘诀大分享专题 本专题整合收录了有关系统运维/系统管理员工作和个人成长方面的各种心得分享.经验总结.以及必须牢记的一些准则,适合所有在运维领域有追求的技术人阅读.有些分享的层次比较深,有些则是运维的基础课,但通过翻看他人的心得,相信你总能有所收获. 1 Dormando的系统运维秘诀三部曲... 4 1.1 技术篇... 4 1.1.1 为变化而设计.... 4 1.1.2 使用自动的,可重复的构建过程.... 4 1.1.3 使用冗余.... 4 1.1.4 使用备份.... 5 1.

看不起自己可以,请不要看不起运维职位!

看不起自己可以,请不要看不起运维职位!伙伴们,赞同的就请转发,让我们这个行业,变得更好吧. 本文不针对任何人,而是以过来人的经历,希望挽救下运维行业人员的心态! 作为曾经的运维人员一份子,老男孩觉得,有不少运维人员自己作为一个运维人员,同时,确不停的说运维职位很差,这真的是一件很悲催的事情,是一种无望,解决不了任何问题,同时还可能真的传染给不懂事的其他同行. 其实呢,不是运维这个职位不行,不受重视,只是大部分的运维人员还是处于一个非常低级的阶段,并且深信不疑的认为自己已经比较牛逼了.要屌破天了.

老男孩Linux运维高薪指南系列公开课【51CTO学院】3月开始上映

运维干货在线讲课免费分享   http://ke.qq.com/course/115897 <老男孩从大学生到普通运维屌丝一枚再到Linux运维专家,最后到身价千万的发展之路 >   主讲人:   老男孩          上课时间:   3月9日晚8点30--10点  成功必有方法,失败必有原因! 如今老男孩老师愿意从自身曲折发展之路讲起,从学生到运维屌丝,再到运维专家,最后发展成为老男孩教育创始人,成为身价千万的运维行业佼佼者发展之路,以成功发展的事实为大家讲解IT人员成长过程中,该选择的