分布式技术一周技术动态 2016-08-14

分布式系统实践

1. 驱动海量大数据实时多维分析,优酷为什么会选择Druid?

https://mp.weixin.qq.com/s?__biz=MzA5NzkxMzg1Nw==&mid=2653160326&idx=1&sn=9c6a91df0ff088f799eefe2ca14926ca&scene=0&key=8dcebf9e179c9f3a11295728e84286c8427ddea06d951c4e08f2efb52ad1d982d9f5f8bbe434244929ff240d0ec88b5d&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.5+build(15F34)&version=11020201&pass_ticket=Uax4it219TvGLrsu%2B5wo6lhIzCrLx6RPRmntpCJlCs%2FagzKHed%2B%2F8X23mVqpb6o0

要点: 得益于搜索引擎的模糊查询能力, 现在越来越多的采用搜索引擎作为metric数据存储的系统了. 常用的就是elasticsearch了, 这篇文章介绍了一个新的系统Druid, 作为elasticsearch的竞争对手, 大家看看Druid为我们带来了什么.

2. Kudu:支持快速分析的新型Hadoop存储系统

https://mp.weixin.qq.com/s?__biz=MzAxNjc1MTk5Nw==&mid=2649157358&idx=1&sn=2e3ce0404f94ee7a76f4cfc1c7871ed0&scene=0&key=305bc10ec50ec19bcb42ce97192be42b984a67f978a66dc2d5e2dcd680b51ec06fc25e49979086f55a76d87a9b370c3b&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.5+build(15F34)&version=11020201&pass_ticket=sqOYmeb6Y6iZU0ALnyzmorV1KUgY9CxMjI9F9QW%2F04y3j%2Fffu7GA4k%2FncoOU0d9j

要点: Kudu是Cloudera开源的新型列式存储系统,是Apache Hadoop生态圈的新成员之一(incubating),专门为了对快速变化的数据进行快速的分析,填补了以往Hadoop存储层的空缺。本文主要对Kudu的动机、背景,以及架构进行简单介绍。

服务化和资源管理技术

1. 生产环境中Docker的持久化存储模式

https://mp.weixin.qq.com/s?__biz=MzA5OTAyNzQ2OA==&mid=2649691054&idx=1&sn=429d4e2cb90ba071d6ecd1b75a1a700f&scene=0&key=8dcebf9e179c9f3a64fb26157ce2b6ddc223affc6ea41365a90977d2997846272163c39f50533c3b1239c5ba17485a22&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.5+build(15F34)&version=11020201&pass_ticket=PMTAhwWyT7JmcVpG70n2zKfB8A%2FUTuwv70e2VXbzZRPsLwqacuZKM1crAxbAfFER

要点: 一听到"有状态"这个词, 很多人可能会说, 这个服务与docker无缘了. 确实, 状态管理在容器中显得更为复杂, 这篇文章介绍了几种docker持久化存储的设计模式, 包括配置, 机密信息, 数据库和分片等.

2. 有状态容器实践:k8s集成ceph分布式存储

https://mp.weixin.qq.com/s?__biz=MzI5MDEzMzg5Nw==&mid=2660392784&idx=1&sn=8a329a87b2b5647c8a2f81604d927381&scene=1&srcid=0807OgvikpPIeL7jN6cOBLq2&key=8dcebf9e179c9f3a29d93eac76026ae69296bd763c0fa39a743cf72f4b551bf0deb2d303046ba7917bfcd13119c0a8f7&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.5+build(15F34)&version=11020201&pass_ticket=AsXDk6M5F4JQ6AubjK2h2ZewfiEJrliZ6fwx1IJmvl%2BooBzsmupmUEz%2BUAyhjE8t

要点: 这也是一篇介绍有状态容器的解决方案的文章, 文章介绍了k8s的一些业界常见的分布式存储方案, 以及作者实践k8s与ceph的集成过程, 为大家开拓一个新的思路.

服务高可用技术

1. 可用性高达五个9!支付系统高可用架构设计实战

http://dbaplus.cn/news-21-591-1.html?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 支付系统对于系统可用性的要求非常高, 这篇文章介绍了一个支付的中间件系统, 对接各种支付渠道和商家, 这篇文章从系统设计到监控报警到trace设计等方面介绍了高可用架构的设计实战.

2. Mercury:唯品会全链路应用监控系统解决方案详解

https://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=2653547643&idx=1&sn=c06dc9b0f59e8ae3d2f9feb734da4459&scene=1&srcid=0808In0tFMP6JqRbT6aA96I7&key=8dcebf9e179c9f3a20529347aa03075c042aa442f728cf4a07ba2fafd1c12b7e7185edfd57d069fd0b967246646645ff&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.5+build(15F34)&version=11020201&pass_ticket=AsXDk6M5F4JQ6AubjK2h2ZewfiEJrliZ6fwx1IJmvl%2BooBzsmupmUEz%2BUAyhjE8t

要点: 这篇文章非常详细的介绍了唯品会的全链路监控系统, 涵盖了trace, metrics分析, 监控, 报警, 前端展现等方面. 从文章上看, 他们的日志数量级和我们相仿, 采用的技术栈有些也是我们一直想尝试的, 挺有参考价值.

DevOps 技术

1. DevOps,关于一致性(C)、可用性(A)和距离(D)的表达!

https://mp.weixin.qq.com/s?__biz=MzA4NjAzMjEyOA==&mid=2654565201&idx=1&sn=50281efef223c37ceeaa4f257d7fbc83&scene=0&key=8dcebf9e179c9f3aeb8dd68b2785cece3d16dfecd1062da63e7374e52e51ff35ec63082e415ad20cd454772d183cdc2a&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.5+build(15F34)&version=11020201&pass_ticket=AsXDk6M5F4JQ6AubjK2h2ZewfiEJrliZ6fwx1IJmvl%2BooBzsmupmUEz%2BUAyhjE8t

要点: 谈起DevOps,涉及到的东西太多,有文化,有工具、有架构、有组织、有思维、有过程、有度量等. 作者根据过去对DevOps的理解,将DevOps高度总结成三个词语:一致性(Consistency)、可用性(Availablity)和距离(Distance)

大杂烩

1. Linux进程间通信-共享内存

http://liwei.life/2016/08/08/share_memory/

要点: 这篇文章非常深入的讲解了共享内存, 如果你还不了解共享内存, 那么这篇文章非常适合你.

2. Twitter机器学习平台的设计与搭建

https://mp.weixin.qq.com/s?__biz=MzI4NzE1NTYyMg==&mid=2651101493&idx=1&sn=5c058bf8a936ada350efcb9f54ae8cd6&scene=1&srcid=0810E9lybfAjl35bFTcUrT2s&key=305bc10ec50ec19b1512dbfb54acc9cb9cc824331ef06eff3de3a83429413b9dffbf6dbd7e53bc1a4e33368c896fa3db&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.5+build(15F34)&version=11020201&pass_ticket=HYzde6eYniVhqquzaNko2fK0zA2w%2B1nqQAN2xCY%2BSFJJasXDH8gQFXktzflyKJLh

要点: 在数据爆炸的时代,机器学习是有效挖掘信息的途径,怎样顺势而为设计与搭建大规模机器学习平台?本文整理自Twitter机器学习平台组负责人郭晓江在ArchSummit深圳2016的演讲。帮助大家了解Twitter机器学习的发展历史与变迁以及超大规模(日万亿量级请求)的在线机器学习系统的设计。

时间: 2024-10-14 12:03:30

分布式技术一周技术动态 2016-08-14的相关文章

分布式技术一周技术动态 2016.08.07

searcher 分布式纵向方向主要涵盖的范围包括分布式系统理论和设计实践, 资源管理和虚拟化技术, 大规模服务稳定性技术, DevOps和自动运维技术等方面, “分布式方向一周技术动态"是我每周总结和整理的关于分布式方向的精选技术文章, 希望以此让大家能够跟踪业界相关的技术动态, 培养大家对分布式系统的兴趣, 学习分布式系统理论和设计思路, 辅助大家的日常工作. 每周的技术动态会在hi群和邮件组里同步发布, 欢迎大家阅读. 对于后续 分布式技术动态 有任何意见或者建议, 大家可以随时联系我.

分布式技术一周技术动态 2016-09-04

searcher 分布式纵向方向主要涵盖的范围包括分布式系统理论和设计实践, 资源管理和虚拟化技术, 大规模服务稳定性技术, DevOps和自动运维技术等方面, “分布式方向一周技术动态"是我每周总结和整理的关于分布式方向的精选技术文章, 希望以此让大家能够跟踪业界相关的技术动态, 培养大家对分布式系统的兴趣, 学习分布式系统理论和设计思路, 辅助大家的日常工作. 每周的技术动态会在hi群和邮件组里同步发布, 欢迎大家阅读. 对于后续 分布式技术动态 有任何意见或者建议, 大家可以随时联系我.

分布式技术一周技术动态 2016-09-25

searcher 分布式纵向方向主要涵盖的范围包括分布式系统理论和设计实践, 资源管理和虚拟化技术, 大规模服务稳定性技术, DevOps和自动运维技术等方面, “分布式方向一周技术动态"是我每周总结和整理的关于分布式方向的精选技术文章, 希望以此让大家能够跟踪业界相关的技术动态, 培养大家对分布式系统的兴趣, 学习分布式系统理论和设计思路, 辅助大家的日常工作. 每周的技术动态会在hi群和邮件组里同步发布, 欢迎大家阅读. 对于后续 分布式技术动态 有任何意见或者建议, 大家可以随时联系我.

分布式技术一周技术动态 2016-09-18

searcher 分布式纵向方向主要涵盖的范围包括分布式系统理论和设计实践, 资源管理和虚拟化技术, 大规模服务稳定性技术, DevOps和自动运维技术等方面, “分布式方向一周技术动态"是我每周总结和整理的关于分布式方向的精选技术文章, 希望以此让大家能够跟踪业界相关的技术动态, 培养大家对分布式系统的兴趣, 学习分布式系统理论和设计思路, 辅助大家的日常工作. 每周的技术动态会在hi群和邮件组里同步发布, 欢迎大家阅读. 对于后续 分布式技术动态 有任何意见或者建议, 大家可以随时联系我.

分布式技术一周技术动态 2016-08-28

searcher 分布式纵向方向主要涵盖的范围包括分布式系统理论和设计实践, 资源管理和虚拟化技术, 大规模服务稳定性技术, DevOps和自动运维技术等方面, “分布式方向一周技术动态"是我每周总结和整理的关于分布式方向的精选技术文章, 希望以此让大家能够跟踪业界相关的技术动态, 培养大家对分布式系统的兴趣, 学习分布式系统理论和设计思路, 辅助大家的日常工作. 每周的技术动态会在hi群和邮件组里同步发布, 欢迎大家阅读. 对于后续 分布式技术动态 有任何意见或者建议, 大家可以随时联系我.

分布式技术一周技术动态 2016-10-02

searcher 分布式纵向方向主要涵盖的范围包括分布式系统理论和设计实践, 资源管理和虚拟化技术, 大规模服务稳定性技术, DevOps和自动运维技术等方面, “分布式方向一周技术动态"是我每周总结和整理的关于分布式方向的精选技术文章, 希望以此让大家能够跟踪业界相关的技术动态, 培养大家对分布式系统的兴趣, 学习分布式系统理论和设计思路, 辅助大家的日常工作. 每周的技术动态会在hi群和邮件组里同步发布, 欢迎大家阅读. 对于后续 分布式技术动态 有任何意见或者建议, 大家可以随时联系我.

分布式技术一周技术动态 2016-09-11

searcher 分布式纵向方向主要涵盖的范围包括分布式系统理论和设计实践, 资源管理和虚拟化技术, 大规模服务稳定性技术, DevOps和自动运维技术等方面, “分布式方向一周技术动态"是我每周总结和整理的关于分布式方向的精选技术文章, 希望以此让大家能够跟踪业界相关的技术动态, 培养大家对分布式系统的兴趣, 学习分布式系统理论和设计思路, 辅助大家的日常工作. 每周的技术动态会在hi群和邮件组里同步发布, 欢迎大家阅读. 对于后续 分布式技术动态 有任何意见或者建议, 大家可以随时联系我.

分布式技术一周技术动态 2016-08-21

searcher 分布式纵向方向主要涵盖的范围包括分布式系统理论和设计实践, 资源管理和虚拟化技术, 大规模服务稳定性技术, DevOps和自动运维技术等方面, “分布式方向一周技术动态"是我每周总结和整理的关于分布式方向的精选技术文章, 希望以此让大家能够跟踪业界相关的技术动态, 培养大家对分布式系统的兴趣, 学习分布式系统理论和设计思路, 辅助大家的日常工作. 每周的技术动态会在hi群和邮件组里同步发布, 欢迎大家阅读. 对于后续 分布式技术动态 有任何意见或者建议, 大家可以随时联系我.

分布式技术一周技术动态 2016.03.20

分布式系统实践 1. 基于Mesos和Docker的分布式计算平台 https://mp.weixin.qq.com/s?__biz=MzAxMDgzOTA2Mw==&mid=402769128&idx=1&sn=cea3ad1357bd9312acf1768c0a493bfd&scene=1&srcid=0318BTuxT0fsFYwPjpeyuDOa&key=710a5d99946419d90fbc1e7600cce055b6e997d6afafc74c

分布式技术一周技术动态 2016.05.22

分布式系统实践 1. 京东:10万规模容器的实践及运营之道 https://mp.weixin.qq.com/s?__biz=MzA4Nzg5Nzc5OA==&mid=2651659686&idx=1&sn=6e068869eba4a8ef7a6388c55494a85d&scene=0&key=f5c31ae61525f82ec4056be88de346f430e551f2ee71c8a43fe5c84805ade86d7212fe23f21e5e776b4cbf