分布式技术一周技术动态 2016.06.05

分布式系统实践

1. HDFS EC:将纠删码技术融入HDFS

https://mp.weixin.qq.com/s?__biz=MjM5MjAwODM4MA==&mid=2650686551&idx=1&sn=1369ddcaedbcd58124e77ab19a8cea24&scene=0&key=8d8120cb97983fad822e4657bcb6a25dacefda3adcc4bf94838f48a34e807da9fd6f97dbd17fd0789ac95a2495732b30&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.5+build(15F34)&version=11020201&pass_ticket=NJxc2%2BcBxiFjZON9CHvETqGwJBSXSTGI92J7xeEildq7qqTFvN6sV6AYBum8%2BlFt

要点: EC编码技术可以有效的降低存储副本数, 节省存储空间, 本文介绍了HDFS融入EC编码的技术细节.

2. 这可能是最全的 Redis 集群方案介绍了

https://mp.weixin.qq.com/s?__biz=MzA3MzYwNjQ3NA==&mid=2651296671&idx=1&sn=366de50a6787963517ff6e096c9d1643&scene=0&key=8d8120cb97983fad0e99e973db6280f58cb181930c9ca6493c4a9bf5abafa18ff0e16f88c755d735ff8e40dafeed56f2&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.5+build(15F34)&version=11020201&pass_ticket=1LmwfVuGgR%2B81vRRRZQJxpIjzwGKv7mVi9Ea7l5Z1cF2FOBZ3oJGNwAHlp9RxhPw

要点: 当单个redis实例服务满足数据量和性能需求的时候, 唯一的做法就是水平扩展了, 然而不同的redis集群组织形式却有很大差别, 本文介绍了几种常见的redis集群解决方案, 其中codis作为豌豆荚开源的redis集群解决方案最受欢迎. 实际上, 我们的mint也是一种KV存储系统的集群解决方案, 只不过后端存储引擎不是redis而是sstable, 但是面临的问题和解决思路是一样的.

服务化和资源管理技术

1. Docker 微服务的性能监控与日志收集

http://mp.weixin.qq.com/s?__biz=MjM5NzAwNDI4Mg==&mid=504706725&idx=1&sn=b31b319eafdab524a9d851f914cd30a6#rd

要点: 微服务的发展给监控带来了很大的挑战, 这篇文章介绍了基于容器的常用监控解决方案, 并进行了简要的对比.

服务高可用技术

1. 负载均衡的那些算法们

http://mp.weixin.qq.com/s?__biz=MzA3MDExNzcyNA==&mid=2650392075&idx=1&sn=fca2ebeca258e15f78a43c44bbb6153d&scene=0#wechat_redirect

要点: 科普了一下负载均衡的常用算法, 除了算法之外, 还给出了伪代码, 对理解算法非常有帮助.

2. 淘宝技术分享 HTTP长连接200万尝试及调优

https://mp.weixin.qq.com/s?__biz=MzAwNjMxNjQzNA==&mid=2651150570&idx=1&sn=cd435dfe5b3c2cfc37464f30ee94ea46&scene=0&key=8d8120cb97983fadb12798ee14586dc53f7cb798875ec1af1820b3d57d4ca40e6d8a8bd6ed71303430dc74d69156f587&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.5+build(15F34)&version=11020201&pass_ticket=NJxc2%2BcBxiFjZON9CHvETqGwJBSXSTGI92J7xeEildq7qqTFvN6sV6AYBum8%2BlFt

要点: 本文介绍了实现200万HTTP长连接所需要进行的内核参数调优和实验.

3. Linux下高并发socket最大连接数所受的各种限制

https://mp.weixin.qq.com/s?__biz=MzAwNjMxNjQzNA==&mid=2651150571&idx=1&sn=3b530ab61da9b20df6b2ff30056cce4a&scene=0&key=8d8120cb97983fade87798ac2ab7c8fc5887921f408f7984e261ef58fa33352a1a7056a3487499cf0df80fe6deab423d&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.5+build(15F34)&version=11020201&pass_ticket=ERuEXw7VDdpi2mBibKUTxe84cVKV402zRFFKqBu0FVrz1ZCNGUOWGZS%2F6nOyVCOg

要点: linux存在很多内核参数会影响进程的最大socket连接数, 并且默认值都比较小, 本文告诉你都有哪些参数可以调整这些限制.

DevOps 技术

1. 基于CMDB与SALTSTACK的运维自动化之路

https://mp.weixin.qq.com/s?__biz=MzA3MzYwNjQ3NA==&mid=2651296637&idx=1&sn=615013dfa2fbaf226c227467bf68bf6a&scene=0&key=8d8120cb97983fad9c516a1c252592105a45340ca926abd332beeaa35138dcde0965bb38e9f93c23dd9b5bed446c11f4&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.5+build(15F34)&version=11020201&pass_ticket=4wHH6MjXbp7JHsI2q17%2BOzZl8Ra5JSAeTa7AgllJrZX0XgYrTZjAoXn20fS%2Bc2WP

要点: 虽然随着DevOps的发展, 基于ITIL的运维流程逐步被淘汰, 但是CMDB仍然是整个运维工作的核心, 只要建设好CMDB, 才能实现全面的运维自动化. 本文介绍了基于CMDB和SaltStack实现的运维自动化过程, 文章中提到的分层架构值得我们学习.

2. DevOps年度报告:Docker、Puppet和Chef,谁更受欢迎?

https://mp.weixin.qq.com/s?__biz=MzA4Nzg5Nzc5OA==&mid=2651660009&idx=1&sn=1382cd6e82d2c3e480de13b7013f0557&scene=0&key=8d8120cb97983fad5baaebda232d50ba44f39c7e10b85b505598e9c44c3fb2d11e7c07db72b01979499cfecf907614d3&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.5+build(15F34)&version=11020201&pass_ticket=ERuEXw7VDdpi2mBibKUTxe84cVKV402zRFFKqBu0FVrz1ZCNGUOWGZS%2F6nOyVCOg

要点: 这是一份相对权威的DevOps调查分析报告, 报告显示越来越多的公司加入了DevOps阵营, 而且Puppet, Chef和Docker成为了使用量最多的DevOps工具.

3. 浅谈自动化运维设计思想

http://mp.weixin.qq.com/s?__biz=MzA4Nzg5Nzc5OA==&mid=401724680&idx=1&sn=f71dcd472e5b22d4fb11a8d27abec13e&scene=21#wechat_redirect

要点: 作者从3个方面阐述了完整的自动化运维体系的设计思想, 包括监控自动化处理, 模版化自动部署以及自动化技术思想.

大杂烩

1. 图说设计模式

http://design-patterns.readthedocs.io/zh_CN/latest/index.html

要点: 在敏捷开发模式的大背景下, 详细的设计文档写的越来越少了, 设计模式也由于复杂度高, 不容易记忆而逐步被简单的面向对象设计的六大原则取代. 不过24种经典的设计模式中还是有一些简单的模式可供参考的, 比如工厂模式, 适配器模式, 修饰器模式等, 本文用比较简洁的图概要说明了常见的设计模式和UML图的画法.

2. SHELL编程之执行过程

http://liwei.life/2016/05/23/shell%E7%BC%96%E7%A8%8B%E4%B9%8B%E6%89%A7%E8%A1%8C%E8%BF%87%E7%A8%8B/

要点: 作为linux的开发人员, 估计对shell非常熟悉了, 但是你真的理解shell的执行过程吗? 所有的命令都会fork子进程执行吗? shell的退出码有什么约定吗? 本文介绍了shell的执行过程, 并且回答了上述问题.

时间: 2024-10-13 14:27:58

分布式技术一周技术动态 2016.06.05的相关文章

分布式技术一周技术动态 2016.08.07

searcher 分布式纵向方向主要涵盖的范围包括分布式系统理论和设计实践, 资源管理和虚拟化技术, 大规模服务稳定性技术, DevOps和自动运维技术等方面, “分布式方向一周技术动态"是我每周总结和整理的关于分布式方向的精选技术文章, 希望以此让大家能够跟踪业界相关的技术动态, 培养大家对分布式系统的兴趣, 学习分布式系统理论和设计思路, 辅助大家的日常工作. 每周的技术动态会在hi群和邮件组里同步发布, 欢迎大家阅读. 对于后续 分布式技术动态 有任何意见或者建议, 大家可以随时联系我.

分布式技术一周技术动态 2016-09-04

searcher 分布式纵向方向主要涵盖的范围包括分布式系统理论和设计实践, 资源管理和虚拟化技术, 大规模服务稳定性技术, DevOps和自动运维技术等方面, “分布式方向一周技术动态"是我每周总结和整理的关于分布式方向的精选技术文章, 希望以此让大家能够跟踪业界相关的技术动态, 培养大家对分布式系统的兴趣, 学习分布式系统理论和设计思路, 辅助大家的日常工作. 每周的技术动态会在hi群和邮件组里同步发布, 欢迎大家阅读. 对于后续 分布式技术动态 有任何意见或者建议, 大家可以随时联系我.

分布式技术一周技术动态 2016-09-25

searcher 分布式纵向方向主要涵盖的范围包括分布式系统理论和设计实践, 资源管理和虚拟化技术, 大规模服务稳定性技术, DevOps和自动运维技术等方面, “分布式方向一周技术动态"是我每周总结和整理的关于分布式方向的精选技术文章, 希望以此让大家能够跟踪业界相关的技术动态, 培养大家对分布式系统的兴趣, 学习分布式系统理论和设计思路, 辅助大家的日常工作. 每周的技术动态会在hi群和邮件组里同步发布, 欢迎大家阅读. 对于后续 分布式技术动态 有任何意见或者建议, 大家可以随时联系我.

分布式技术一周技术动态 2016-09-18

searcher 分布式纵向方向主要涵盖的范围包括分布式系统理论和设计实践, 资源管理和虚拟化技术, 大规模服务稳定性技术, DevOps和自动运维技术等方面, “分布式方向一周技术动态"是我每周总结和整理的关于分布式方向的精选技术文章, 希望以此让大家能够跟踪业界相关的技术动态, 培养大家对分布式系统的兴趣, 学习分布式系统理论和设计思路, 辅助大家的日常工作. 每周的技术动态会在hi群和邮件组里同步发布, 欢迎大家阅读. 对于后续 分布式技术动态 有任何意见或者建议, 大家可以随时联系我.

分布式技术一周技术动态 2016-08-28

searcher 分布式纵向方向主要涵盖的范围包括分布式系统理论和设计实践, 资源管理和虚拟化技术, 大规模服务稳定性技术, DevOps和自动运维技术等方面, “分布式方向一周技术动态"是我每周总结和整理的关于分布式方向的精选技术文章, 希望以此让大家能够跟踪业界相关的技术动态, 培养大家对分布式系统的兴趣, 学习分布式系统理论和设计思路, 辅助大家的日常工作. 每周的技术动态会在hi群和邮件组里同步发布, 欢迎大家阅读. 对于后续 分布式技术动态 有任何意见或者建议, 大家可以随时联系我.

分布式技术一周技术动态 2016-10-02

searcher 分布式纵向方向主要涵盖的范围包括分布式系统理论和设计实践, 资源管理和虚拟化技术, 大规模服务稳定性技术, DevOps和自动运维技术等方面, “分布式方向一周技术动态"是我每周总结和整理的关于分布式方向的精选技术文章, 希望以此让大家能够跟踪业界相关的技术动态, 培养大家对分布式系统的兴趣, 学习分布式系统理论和设计思路, 辅助大家的日常工作. 每周的技术动态会在hi群和邮件组里同步发布, 欢迎大家阅读. 对于后续 分布式技术动态 有任何意见或者建议, 大家可以随时联系我.

分布式技术一周技术动态 2016-09-11

searcher 分布式纵向方向主要涵盖的范围包括分布式系统理论和设计实践, 资源管理和虚拟化技术, 大规模服务稳定性技术, DevOps和自动运维技术等方面, “分布式方向一周技术动态"是我每周总结和整理的关于分布式方向的精选技术文章, 希望以此让大家能够跟踪业界相关的技术动态, 培养大家对分布式系统的兴趣, 学习分布式系统理论和设计思路, 辅助大家的日常工作. 每周的技术动态会在hi群和邮件组里同步发布, 欢迎大家阅读. 对于后续 分布式技术动态 有任何意见或者建议, 大家可以随时联系我.

分布式技术一周技术动态 2016-08-21

searcher 分布式纵向方向主要涵盖的范围包括分布式系统理论和设计实践, 资源管理和虚拟化技术, 大规模服务稳定性技术, DevOps和自动运维技术等方面, “分布式方向一周技术动态"是我每周总结和整理的关于分布式方向的精选技术文章, 希望以此让大家能够跟踪业界相关的技术动态, 培养大家对分布式系统的兴趣, 学习分布式系统理论和设计思路, 辅助大家的日常工作. 每周的技术动态会在hi群和邮件组里同步发布, 欢迎大家阅读. 对于后续 分布式技术动态 有任何意见或者建议, 大家可以随时联系我.

分布式技术一周技术动态 2016.06.26

分布式系统实践 1. 微信自研生产级paxos类库PhxPaxos实现原理介绍 https://mp.weixin.qq.com/s?__biz=MzI4NDMyNTU2Mw==&mid=2247483695&idx=1&sn=91ea422913fc62579e020e941d1d059e&scene=1&srcid=0622W8Tr7wxlyNqJPBzr4iWK&key=77421cf58af4a6537009f11daea42e134e8766d15