分布式技术一周技术动态 2015.12.13

分布式系统实践

1. 关于分布式事务、两阶段提交协议、三阶提交协议

http://www.hollischuang.com/archives/681?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 分布式系统的数据一致性一直以来就是分布式系统中最难解决的问题之一, 本文介绍了传统的2PC和3PC协议以及他们的缺点, 理解了2PC和3PC之后, 回过头来大家就能理解paxos协议的具备的里程碑式的重要意义了(当然现在有了raft协议)

2. 大型web系统数据缓存设计

http://mp.weixin.qq.com/s?__biz=MTEwNTM0ODI0MQ==&mid=401510053&idx=1&sn=322e82ea884bdfb45c5a650ddf05768a

要点: 非常详细的一篇系统介绍cache设计和选型的文章, 从分布式, 容量, 响应时间, 更新策略, 缓存粒度等方面进行了对比和介绍.

3. 分布式系统原理介绍

http://www.valleytalk.org/wp-content/uploads/2012/07/%E5%88%86%E5%B8%83%E5%BC%8F%E7%B3%BB%E7%BB%9F%E5%8E%9F%E7%90%86%E4%BB%8B%E7%BB%8D.pdf?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 这是我厂的一个工程师在2012年写的一本介绍分布式系统原理的小册子, 对分布式系统的基本原理介绍的非常透彻, 推荐给以后想从事分布式系统设计和开发的同学们.

服务化和资源管理技术

1. 网络知识拾遗

http://yikun.github.io/2015/11/23/%E7%BD%91%E7%BB%9C%E7%9F%A5%E8%AF%86%E6%8B%BE%E9%81%97/?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 上学期间学的计算机网络相关的课程尤其是涉及底层网络相关的课程, 由于没有经历过实践, 这些知识早就还给老师了. 不过随着云计算特别是SDN的火热, 我们需要考虑配置虚拟化网络了, 很多网络底层相关的内容又跑到了我们软件开发者的面前. 这篇文章对交换机的原理进行了科普, 特别是文章的配图非常漂亮, 所以把这篇文章推荐给大家.

2. Kubernetes-Mesos 0.7发布,重要发展里程碑

https://mp.weixin.qq.com/s?__biz=MzA5OTAyNzQ2OA==&mid=400670025&idx=1&sn=a01e7445bffabc5bcfaf33e07e72e57c&scene=0&key=ac89cba618d2d976139c9f499b5b2ff72df227f6f15e988602fb4f60d2c2266097f4f6c6bba99c0e0363ec9d62ae6296&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=6cz6nJgc3TzESNYhXYZotF%2FEajiW7ZutoJoOF2q4OkoaM1waWj%2F4H%2BXyTMfa%2FJ2F

要点: mesosphere发布了Kubernetes-Mesos v0.7.0-v1.1.10-alpha版本, 将kubernetes开发成了mesos的一个原生框架, 既想要kubernetest提供的功能, 又担心kubernetest不够成熟无法应用在万级别的服务器集群里? 那么kubernetest-mesos或许是一个两全其美的方案.

3. 10个精选的Docker容器应用案例

https://mp.weixin.qq.com/s?__biz=MzA5OTAyNzQ2OA==&mid=400698396&idx=1&sn=ee4a4af8be4802224f398db5cb06ef47&scene=0&key=ac89cba618d2d976b64257ccb3b9a76b140e851f416b4d13f122e15c7f1a8faed19c1766c12e5ba5b14314abba7acfce&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=APgGy%2BStlzZG8iVt5fOgyAouJpF28FiEovDN9XzpEZCiisI9n%2BE1C%2FfT2FFwgEeW

要点: infoq推荐的10篇docker精选案例文章, 这些文章我之前都推荐过, 这次来一个汇总.

4. 基于消息的分布式架构

http://www.infoq.com/cn/articles/message-based-distributed-architecture

要点: 分布式系统之间存在两种信息交互方式, 一种是RPC, 另外一种就是消息传递. 消息模式在分布式系统中有着非常重要的作用, 可以充分解耦多个分布式组件, 屏蔽分布式系统的局部故障. 本文介绍了几种常见的消息模式, 包括消息通道模式, 发布-订阅模式, 消息路由模式, 以及消息模式的应用场景.

5. 浅谈架构升级

http://mp.weixin.qq.com/s?__biz=MzA3ODUxMjMyMw==&mid=400967152&idx=1&sn=36d1f0fb34bbc8e425b4f117104991af&scene=1&srcid=1211fTqtJXMAyb1ltVmiEciP&key=ac89cba618d2d976af86af88fdb116fb65cc69a84baf7dec831530bda8f26f979004acc76a46781ebc57c2c8eabed2b7&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.2+build(15C50)&version=11020201&pass_ticket=2prKm7QFs%2Bqf3evkzsXElwzh8iJjcxgWaNMP14Feq3qzf4Stl53hMi2mm%2F7G4mkk

要点: 作者孙宇聪现任coding.net的CTO, 在加入coding之前, 在google 从事SRE工作, 负责borg系统的研发和维护, 对于高可用服务和集群管理有着很深的技术积累. 这是在Upyun 架构与运维大会上的发言, 讲述了coding.net的容器化演变过程, 分享了在docker化生产环境, 容器编排, 容器配置, 资源管理等方面的经验和体会.

大规模服务稳定性技术

1.  高性能网络I/O入门

http://mp.weixin.qq.com/s?__biz=MzI4MjA4ODU0Ng==&mid=401218819&idx=1&sn=213fcb24ea37d8fc050a05ea3403c7ba&scene=2&srcid=1206b8eeZl1Q4a711ivNwbBs&from=timeline&isappinstalled=0#wechat_redirect

要点: 一遍讲解网络IO的入门文章, 如果之前有些概念让你比较模糊, 那么请看这篇文章.

2. ElasticSearch工作原理、查询及常用插件

http://mp.weixin.qq.com/s?__biz=MzA4Nzg5Nzc5OA==&mid=400771024&idx=1&sn=c38fbeff5f327010afa3fcd62194a8fd&scene=2&srcid=1208D1tfZdKkouWuouqkYeT2&from=timeline&isappinstalled=0#wechat_redirect

要点: 一篇介绍elasticsearch的入门文章.

3. 性能优化模式

http://tech.meituan.com/performance_tuning_pattern.html?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 深度好文, 作者结合自己在美团的经验, 整理出了若干个提升服务响应时间和吞吐的模式以及反模式, 并且结合案例对模式进行了详细的说明, 强烈推荐.

4. 图解 TCP/IP 协议

http://mp.weixin.qq.com/s?__biz=MzAxODI5ODMwOA==&mid=409790536&idx=1&sn=344c7b53ef183eb369dcc3df86cf3540&scene=1&srcid=1213Bv7HnfKFp5ZwaRYWKAqx&key=ac89cba618d2d97698da6a87b907169bdd3f946a1df90b0289168e14501eda0cfe6e9b06ce6f513d862ab94f3a79e380&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.2+build(15C50)&version=11020201&pass_ticket=7b%2B0Kc7qf0onSTNwjIXMpyG1jBblMrYQTwZK7ja%2F9w2F8mfr4ru0TJEkKRbiGMiL

要点: TCP协议是一个非常复杂的协议, 想详细了解TCP协议可能需要厚厚一本书来描述. 这篇文章概括性的对TCP协议的重要算法和流程进行了讲解, 对于初学者非常有帮助. 另外如果大家对TCP协议调参不是很了解的话, 可以咨询稳定性团队, 在这方面他们非常有经验.

DevOps 技术

1. 数据中心运维自动化和DevOps

http://mp.weixin.qq.com/s?__biz=MzA4Nzg5Nzc5OA==&mid=400758610&idx=1&sn=c753b00463f58471889cfffae2bb8325&scene=0&key=ac89cba618d2d97691002bfe81b1a180e1264608c32e98360e372260a978925430d2d239d24673d333a76489825aab6d&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=6cz6nJgc3TzESNYhXYZotF%2FEajiW7ZutoJoOF2q4OkoaM1waWj%2F4H%2BXyTMfa%2FJ2F

要点: 现在“运维自动化”、“云计算”、“DevOps”很热 也有很多解释,但很多人的理解是狭义的甚至错误的。这篇文章由智锦分享其在大型互联网企业和大型传统行业的工作感受,并从整个数据中心的运维管理体系建设出发 ,分享这几年他亲身实践所总结出来的一些观点。(文章中的图在pc上看不到, 在微信里可以看到)

2. 10个强大的DevOps基础设施自动化工具

http://openskill.cn/article/215?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 10个业界应用非常广泛的持续集成和配置管理工具.

3. Linux性能分析的前60000毫秒

http://segmentfault.com/a/1190000004104493?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 如果面临一个性能问题, 你不知道如何入手, 那么这篇文章就是为你准备的. 在登录机器的前1分钟, 你需要做的事都在这里写着呢.

4. 蓝鲸作业平台:我是如何做到一键操作上万服务器的

http://mp.weixin.qq.com/s?__biz=MzA4Nzg5Nzc5OA==&mid=400836780&idx=1&sn=62f464bdc59e351c79e0a89d1867e3b9&scene=0&key=ac89cba618d2d976fe620eec77a059009466d39e89b0c7e94bd38bcab595ab8ecfd2f01bb4396e557697137fe6a4dc4d&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.2+build(15C50)&version=11020201&pass_ticket=2prKm7QFs%2Bqf3evkzsXElwzh8iJjcxgWaNMP14Feq3qzf4Stl53hMi2mm%2F7G4mkk

要点: 目前业界有很多配置管理系统, 作业调度系统等众多自动化运维工具, 但是这些工具往往提供的是相对底层的功能, 真正应用到业务运维还需要大量的二次开发. 腾讯的蓝鲸作业管理平台是目前我见过的真正从业务运维角度出发设计的作业管理平台, 功能的设计目标从一开始就不是为了通用化而是针对腾讯游戏运维的特点量身打造的, 这样的定位使得蓝鲸作业管理平台完全从业务场景的角度出发, 最大程度的满足业务运维的需求. 而回过头来, 很多功能又是相对通用的, 比如在每台机器上执行相同的脚本, 数据文件的拷贝, 作业拆分成若干个小的可执行单元等. 希望咱们大搜的运维也能有这样的一个平台.

大杂烩

1. Restful API的设计与实践

http://www.jianshu.com/p/c117d32aded4?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: rest大家已经非常熟悉了, 但是rest不是一个标准而是一个软件设计风格, 如何使你的系统api满足restful风格? 推荐大家看看这篇文章.

2. 编程的智慧

http://www.yinwang.org/blog-cn/2015/11/21/programming-philosophy/

要点: 这篇文章列举了很多写出优雅代码的良好习惯, 希望大家在平时写代码过程中多练习多推敲, 文章中提出的很多习惯我在beehive团队的代码review中也反复强调过. 除了文章中的内容之外再加一点, 希望大家对自己的代码有着负责任的态度, 真正热爱他, 不给后人埋坑, 必须要埋的坑(有些时候为了兼容, 为了控制风险和项目周期不得不埋坑)就把注释写清楚, 这样我相信我们系统中的烂代码就会越来越少.

3. 透析硬链接和软链接的区别

http://weibo.com/p/1001603874690648387694?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 如果你不了解硬连接和软连接, 那么请读读这篇文章.

4. 作为一个程序员,进步完全取决于自己

http://mp.weixin.qq.com/s?__biz=MjM5NzMyMjAwMA==&mid=401268306&idx=1&sn=3eb48ec9f939478f5955a55872145aae

要点: 看看一位有着32年编程经验的工程师是如何不断自我学习的.

时间: 2024-08-07 08:37:40

分布式技术一周技术动态 2015.12.13的相关文章

分布式技术一周技术动态 2016-09-11

searcher 分布式纵向方向主要涵盖的范围包括分布式系统理论和设计实践, 资源管理和虚拟化技术, 大规模服务稳定性技术, DevOps和自动运维技术等方面, “分布式方向一周技术动态"是我每周总结和整理的关于分布式方向的精选技术文章, 希望以此让大家能够跟踪业界相关的技术动态, 培养大家对分布式系统的兴趣, 学习分布式系统理论和设计思路, 辅助大家的日常工作. 每周的技术动态会在hi群和邮件组里同步发布, 欢迎大家阅读. 对于后续 分布式技术动态 有任何意见或者建议, 大家可以随时联系我.

分布式技术一周技术动态 2016-09-04

searcher 分布式纵向方向主要涵盖的范围包括分布式系统理论和设计实践, 资源管理和虚拟化技术, 大规模服务稳定性技术, DevOps和自动运维技术等方面, “分布式方向一周技术动态"是我每周总结和整理的关于分布式方向的精选技术文章, 希望以此让大家能够跟踪业界相关的技术动态, 培养大家对分布式系统的兴趣, 学习分布式系统理论和设计思路, 辅助大家的日常工作. 每周的技术动态会在hi群和邮件组里同步发布, 欢迎大家阅读. 对于后续 分布式技术动态 有任何意见或者建议, 大家可以随时联系我.

分布式技术一周技术动态 2016-08-28

searcher 分布式纵向方向主要涵盖的范围包括分布式系统理论和设计实践, 资源管理和虚拟化技术, 大规模服务稳定性技术, DevOps和自动运维技术等方面, “分布式方向一周技术动态"是我每周总结和整理的关于分布式方向的精选技术文章, 希望以此让大家能够跟踪业界相关的技术动态, 培养大家对分布式系统的兴趣, 学习分布式系统理论和设计思路, 辅助大家的日常工作. 每周的技术动态会在hi群和邮件组里同步发布, 欢迎大家阅读. 对于后续 分布式技术动态 有任何意见或者建议, 大家可以随时联系我.

分布式技术一周技术动态 2016-10-02

searcher 分布式纵向方向主要涵盖的范围包括分布式系统理论和设计实践, 资源管理和虚拟化技术, 大规模服务稳定性技术, DevOps和自动运维技术等方面, “分布式方向一周技术动态"是我每周总结和整理的关于分布式方向的精选技术文章, 希望以此让大家能够跟踪业界相关的技术动态, 培养大家对分布式系统的兴趣, 学习分布式系统理论和设计思路, 辅助大家的日常工作. 每周的技术动态会在hi群和邮件组里同步发布, 欢迎大家阅读. 对于后续 分布式技术动态 有任何意见或者建议, 大家可以随时联系我.

分布式技术一周技术动态 2016-09-25

searcher 分布式纵向方向主要涵盖的范围包括分布式系统理论和设计实践, 资源管理和虚拟化技术, 大规模服务稳定性技术, DevOps和自动运维技术等方面, “分布式方向一周技术动态"是我每周总结和整理的关于分布式方向的精选技术文章, 希望以此让大家能够跟踪业界相关的技术动态, 培养大家对分布式系统的兴趣, 学习分布式系统理论和设计思路, 辅助大家的日常工作. 每周的技术动态会在hi群和邮件组里同步发布, 欢迎大家阅读. 对于后续 分布式技术动态 有任何意见或者建议, 大家可以随时联系我.

分布式技术一周技术动态 2016-09-18

searcher 分布式纵向方向主要涵盖的范围包括分布式系统理论和设计实践, 资源管理和虚拟化技术, 大规模服务稳定性技术, DevOps和自动运维技术等方面, “分布式方向一周技术动态"是我每周总结和整理的关于分布式方向的精选技术文章, 希望以此让大家能够跟踪业界相关的技术动态, 培养大家对分布式系统的兴趣, 学习分布式系统理论和设计思路, 辅助大家的日常工作. 每周的技术动态会在hi群和邮件组里同步发布, 欢迎大家阅读. 对于后续 分布式技术动态 有任何意见或者建议, 大家可以随时联系我.

分布式技术一周技术动态 2016-08-21

searcher 分布式纵向方向主要涵盖的范围包括分布式系统理论和设计实践, 资源管理和虚拟化技术, 大规模服务稳定性技术, DevOps和自动运维技术等方面, “分布式方向一周技术动态"是我每周总结和整理的关于分布式方向的精选技术文章, 希望以此让大家能够跟踪业界相关的技术动态, 培养大家对分布式系统的兴趣, 学习分布式系统理论和设计思路, 辅助大家的日常工作. 每周的技术动态会在hi群和邮件组里同步发布, 欢迎大家阅读. 对于后续 分布式技术动态 有任何意见或者建议, 大家可以随时联系我.

分布式技术一周技术动态 2016.08.07

searcher 分布式纵向方向主要涵盖的范围包括分布式系统理论和设计实践, 资源管理和虚拟化技术, 大规模服务稳定性技术, DevOps和自动运维技术等方面, “分布式方向一周技术动态"是我每周总结和整理的关于分布式方向的精选技术文章, 希望以此让大家能够跟踪业界相关的技术动态, 培养大家对分布式系统的兴趣, 学习分布式系统理论和设计思路, 辅助大家的日常工作. 每周的技术动态会在hi群和邮件组里同步发布, 欢迎大家阅读. 对于后续 分布式技术动态 有任何意见或者建议, 大家可以随时联系我.

分布式技术一周技术动态 2016.03.20

分布式系统实践 1. 基于Mesos和Docker的分布式计算平台 https://mp.weixin.qq.com/s?__biz=MzAxMDgzOTA2Mw==&mid=402769128&idx=1&sn=cea3ad1357bd9312acf1768c0a493bfd&scene=1&srcid=0318BTuxT0fsFYwPjpeyuDOa&key=710a5d99946419d90fbc1e7600cce055b6e997d6afafc74c