分布式技术一周技术动态 2015.11.29

分布式系统实践

1. (学术论文)Fail at Scale Reliability in the face of rapid change

http://queue.acm.org/detail.cfm?id=2839461

要点: 本文介绍了facebook的在线系统稳定性解决方案. 文章涵盖了配置管理系统, 分级发布, 快速回滚, 控制延迟算法, 并发度控制, 防止雪崩, 核心服务健壮性, 故障演练等涉及服务稳定性的方方面面, 对我们的系统稳定性有很大的参考价值(特别是延迟控制算法, 对于解决长尾问题非常有效). 感兴趣的同学可以进一步阅读 controlling queue delay(http://queue.acm.org/detail.cfm?id=2209336)这篇论文.

2. 分布式数据库及反范式设计

http://mp.weixin.qq.com/s?__biz=MzI0MjA1Mjg2Ng==&mid=400528497&idx=1&sn=6b068d924ba06d030bbb5b147265abfa&scene=0&key=d72a47206eca0ea96172c220b41bf4d2fd453cc51cc34453c93860c47545d81354e638afbef697c33fa0563999baa9bd&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=fm72IkhE73ohiJFH1JkrnoFjHMnntunQ8yRmtLCEAsS4pLhWdPunO9NCXGWVZJjc

要点: 这是作者的一些列技术文章中的一篇, 介绍如何使用数据库反范式设计来解决中小企业的分布式数据库问题.

3. Lambda架构与推荐在电商网站实践

https://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=401800864&idx=1&sn=e86e31a4aa6279f5b515f9116da47d59&scene=0&key=d72a47206eca0ea97d58f0d568d7c4baa44b12f09dfe5665b65a347d4ab82b1c013c7fe9eac1339662772de4f51bcc34&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=Cdp7CRTPTmbyombyxm9%2B2OmffnjUJ%2B%2Fb%2F%2F7dSgVKOuC3utHRQZrLI9B6tE3ShfC6

要点: 本文结合电商的例子, 介绍了lambda架构的具体概念, 简单的说, lambda架构就是批处理层, 实时处理层和服务层三层架构.

4. Kafka文件存储机制那些事

http://mp.weixin.qq.com/s?__biz=MzAwNjQwNzU2NQ==&mid=400594407&idx=3&sn=463f60dfc80b1849c69ac535c30d6eaf&scene=1&srcid=1125P4PCcL6tgbJ6TbMI6u5w&key=ff7411024a07f3ebb56f8edc2777a261d1d46ec1a7056566c26be50f991ed026eafdacc08d0607dc308a0336ed017825&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=3zOnUafulZfDDs9hITOiVJTOU6dXT7g%2B%2B%2FBGOTJouBJnp%2FNVKkJm%2FSgmhn15MIqu

要点: 一个商业化消息队列的性能好坏，其文件存储机制设计是衡量一个消息队列服务技术水平和最关键指标之一。本文将从Kafka文件存储机制和物理结构角度，分析Kafka是如何实现高效文件存储，及实际应用效果。

服务化和资源管理技术

1. 微博基于Docker容器的混合云迁移实战

https://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=401778644&idx=1&sn=41fc85e861a4ba7aaa4fcea7339f9a08&scene=0&key=d72a47206eca0ea964235f691058d7ff1e6a83cd6091851074d10ff18ee61c48e37ce569010b4e6b0d2d402e9f7e195a&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=fm72IkhE73ohiJFH1JkrnoFjHMnntunQ8yRmtLCEAsS4pLhWdPunO9NCXGWVZJjc

要点: 本文分析了微博使用混合云的案例, 阐述了使用混合云的优点以及微博采用的软件栈. 微博在docker上的实践起步比较早, 案例很有参考意义.

2. 如何在Docker中使用Open vSwitch

http://dockone.io/article/837?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 我们使用的机房和机器网络环境都是事先配置好的, 所以大家可能对网络的配置有点陌生. 不同于直接使用物理机, 不管是使用docker还是虚拟机, 容器或者虚拟机的网络配置就需要大家操心了. 但是不同于物理机, 虚拟机(或者docker容器)是频繁变化的, 那么网络配置也要求跟随着一起变化, 这就有了虚拟网络的需求, 如何让两台宿主机不同的虚拟机通过网络通信呢(还要考虑overhead尽量小)? 为此SDN应运而生, 而open vSwitch就成为了SDN的最普遍的工业实现方式了(对于SDN我本人懂得也不多, 有说错的地方请大家指正, 也欢迎感兴趣的同学主动站出来分享). 本文就介绍了如何在docker容器中使用open vSwitch从而解决不同docker容器之间的相互通信问题.

3. 到底什么是Unikernel？

https://mp.weixin.qq.com/s?__biz=MzA5OTAyNzQ2OA==&mid=400591600&idx=1&sn=ad2a950c6a0d23e7e8ff7542fe990c4c&scene=0&key=ff7411024a07f3eb4614053949f393ad08b523b68bf7df1aedfe47bd1b3cca5816a3b908aaca018f3aa9f98b71c8791a&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=9MB1xKc0HqedPjFc7tyecllaeQUc%2BJR0mIaDlBoZrmW41%2Fd9P16MWnWl3kh29AZe

要点: 如果你持续关注DevOps周刊，DevOps主题的会议或是对技术真正感兴趣，你也许已经听说Unikernel很多次了。在过去的几个月，它似乎越来越受关注。然而，究竟什么是Unikernel? 它是我想要的东西吗？本文对此做了简要的介绍.

服务调度和 Trace 技术

1. 微博在大规模、高负载系统问题排查方法

http://mp.weixin.qq.com/s?__biz=MzAwNjQwNzU2NQ==&mid=400579906&idx=3&sn=ec43a81e46e1d59d704dc3654568c9ae&scene=1&srcid=1123jvTJBK7Gd2y4JrAxsU14&key=d72a47206eca0ea914348206054b50b9c6b48f296779b29b6b4d0a2ccd78de999e420e9784d1d056fd75b65acf41655e&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=Cdp7CRTPTmbyombyxm9%2B2OmffnjUJ%2B%2Fb%2F%2F7dSgVKOuC3utHRQZrLI9B6tE3ShfC6

要点: 干货满满的一篇文章, 从来自一线问题追查的经验积累而成的一篇文章. 这方面稳定性团队的同学比较有发言权, 经常需要追查线上莫名其妙的问题, 如果大家在平时问题追查过程中遇到没有头绪的问题, 不妨找稳定性团队的同学聊聊.

DevOps 技术

1. atime、mtime、ctime的区别及如何降低atime更新

https://mp.weixin.qq.com/s?__biz=MzA3MzYwNjQ3NA==&mid=400742435&idx=1&sn=d5fa0776ebce30be1de897cd7d1eb295&scene=0&key=d72a47206eca0ea9ec5b7c574d593f1cec476c38b6d36e28bf256e4822e7188e92f5b6b9c7bb0398b7e86bad90f786a0&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=fm72IkhE73ohiJFH1JkrnoFjHMnntunQ8yRmtLCEAsS4pLhWdPunO9NCXGWVZJjc

要点: 为什么我们挂载磁盘的时候需要用noatime选项? 这几个time代表什么含义? 这篇文章告诉你答案.

2. 我们如何把持续部署化繁为简的

https://mp.weixin.qq.com/s?__biz=MzA4NjAzMjEyOA==&mid=402441122&idx=1&sn=8195b678bfeaf2b4c153afecbf43c5a9&scene=0&key=d72a47206eca0ea962fd5dff5f17c807cf7ef4c67efe90bb83ef42de5ffefdd5c2bc22225fe8cfe134253cda75bb31fe&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=fm72IkhE73ohiJFH1JkrnoFjHMnntunQ8yRmtLCEAsS4pLhWdPunO9NCXGWVZJjc

要点: 说到持续部署大家往往想到这是一个极其复杂的系统, 这篇文章从RPM包开始说起, 把握关键环节化繁为简, 设计并实现了一套可视化的持续部署系统.

3. 三张图看遍Linux 性能监控、测试、优化工具

https://mp.weixin.qq.com/s?__biz=MzA3MzYwNjQ3NA==&mid=400775633&idx=1&sn=4f8fe1e484d1f2bb9843fca333a4340a&scene=0&key=d72a47206eca0ea954e2eb2b0436b5df588936fb64d5ae5a02d42b3f5af2f5d5589f866dbab120b4319030a3971bd445&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=Cdp7CRTPTmbyombyxm9%2B2OmffnjUJ%2B%2Fb%2F%2F7dSgVKOuC3utHRQZrLI9B6tE3ShfC6

要点: 直接看图, 不多说.

4. Docker 监控实战

http://news.oneapm.com/docker-monitoring/?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 监控一直是服务运维必不可少的组件. docker以及container技术的普及, 对应的监控也需要与时俱进, 本文介绍了基于docker的一些监控解决方案, 特别是介绍了普罗米修斯这个开源的监控系统. 顺便说一句, 普罗米修斯号称是最接近borgmon的监控系统.(我都没用过, 仅供参考)