分布式技术一周技术动态 2016.12.04

分布式系统实践

1. 列存储格式Parquet调研报告

http://dwz.cn/4HnU24

摘要: Apache Parquet是Hadoop生态圈中一种新型列式存储格式,它可以兼容Hadoop生态圈中大多数计算框架(Hadoop、Spark等),被多种查询引擎支持(Hive、Impala、Drill等),并且它是语言和平台无关的。这篇文章详细介绍了Parquet格式, 包括原理和实现, 并且给出了性能对比数据.

2. TiKV 的 MVCC(Multi-Version Concurrency Control)机制

http://dwz.cn/4Jh1wH

摘要: MVCC是在保证数据库隔离级别情况下, 提升数据库吞吐的核心技术之一, 这篇文章介绍了TiDB的MVCC实现机制.

服务化和虚拟化

1. Distributed Database Containers Deployment and Orchestration

http://dwz.cn/4Hok2K

摘要: 我们都知道部署有状态的服务容器比无状态的服务容器要复杂的多, 不仅仅需要考虑持久化的数据, 还需要考虑灰度发布等常见问题. 这篇文章讲述了将TiDB部署在k8s上的整体思路, 其实面临的问题和我们部署bs和mint服务是非常类似的, 解决的思路也比较类似, 就是需要开发专门的master来调度和协调(这方面mesos比k8s要领先一些).

高可用技术

1. 五个9的可用度、秒级故障解决,探寻互联网金融应用之道

http://dwz.cn/4GZbso

摘要: 这篇文章全面的介绍了付钱啦公司的高可用技术内幕包括容错, 监控, 报警, 降级等等.

2. 基于nginx和consul构建高可用及自动发现的docker服务架构

http://dwz.cn/4IlXiN

http://dwz.cn/4IPjqg

摘要: consul是一款非常优秀的服务发现组件, 尤其适合配合docker使用, 同时提供了跨IDC数据最终一致性, 健康检查, kv存储等服务发现组件必备的功能, 可以说是服务发现组件的不二人选, 这篇文章介绍了基于nginx和consul构建自动发现的docker服务架构方法.

运维和DevOps

1. Docker世界中的配置管理:5分钟让你明白如何在Puppet,Chef, Ansible之间选择

http://dwz.cn/4HQ43p

摘要: puppet, chef, ansible可以说是3个使用的最为广泛的配置管理工具了, 但是随着容器技术的日益成熟, 我们对配置管理工具的定位和需求发生了细微的变化, 这篇文章独树一帜的声明, 在容器时代, 唯一应该选择的配置管理工具就是ansible, 因为在容器时代, 配置管理工具的作用更加专注和几种, ansible更加简单易懂.

2. 基于 DevOps 理念的私有 PaaS 平台实践

http://dwz.cn/4J7ctU

摘要: 这篇文章详细讲述了互动娱乐的私有PaaS平台实践, 这个平台其实和我们想做的事情非常接近, 但是比我们当前做的要多, 可以借鉴参考.

基础和文化

1. 京东亿级商品搜索核心技术解密

http://dwz.cn/4IrpGW

摘要: 这篇文章介绍了京东商品搜索系统的架构, 和我们的搜索架构相比, 还是要简单很多, 毕竟只是站内搜索嘛, 供大家参考和借鉴.

2. 兼顾高可靠和低延迟,Google打算用QUIC协议替代TCP/UDP

http://dwz.cn/4J8lvn

摘要: 基于UDP协议的QUIC协议去除了TCP协议的缺点, 针对TCP的缺点进行了很多性能优化, google希望用QUIC协议替代TCP协议.

时间: 2024-08-14 19:04:19

分布式技术一周技术动态 2016.12.04的相关文章

分布式技术一周技术动态 2016.08.07

searcher 分布式纵向方向主要涵盖的范围包括分布式系统理论和设计实践, 资源管理和虚拟化技术, 大规模服务稳定性技术, DevOps和自动运维技术等方面, “分布式方向一周技术动态"是我每周总结和整理的关于分布式方向的精选技术文章, 希望以此让大家能够跟踪业界相关的技术动态, 培养大家对分布式系统的兴趣, 学习分布式系统理论和设计思路, 辅助大家的日常工作. 每周的技术动态会在hi群和邮件组里同步发布, 欢迎大家阅读. 对于后续 分布式技术动态 有任何意见或者建议, 大家可以随时联系我.

分布式技术一周技术动态 2016-09-04

searcher 分布式纵向方向主要涵盖的范围包括分布式系统理论和设计实践, 资源管理和虚拟化技术, 大规模服务稳定性技术, DevOps和自动运维技术等方面, “分布式方向一周技术动态"是我每周总结和整理的关于分布式方向的精选技术文章, 希望以此让大家能够跟踪业界相关的技术动态, 培养大家对分布式系统的兴趣, 学习分布式系统理论和设计思路, 辅助大家的日常工作. 每周的技术动态会在hi群和邮件组里同步发布, 欢迎大家阅读. 对于后续 分布式技术动态 有任何意见或者建议, 大家可以随时联系我.

分布式技术一周技术动态 2016-09-25

searcher 分布式纵向方向主要涵盖的范围包括分布式系统理论和设计实践, 资源管理和虚拟化技术, 大规模服务稳定性技术, DevOps和自动运维技术等方面, “分布式方向一周技术动态"是我每周总结和整理的关于分布式方向的精选技术文章, 希望以此让大家能够跟踪业界相关的技术动态, 培养大家对分布式系统的兴趣, 学习分布式系统理论和设计思路, 辅助大家的日常工作. 每周的技术动态会在hi群和邮件组里同步发布, 欢迎大家阅读. 对于后续 分布式技术动态 有任何意见或者建议, 大家可以随时联系我.

分布式技术一周技术动态 2016-09-18

searcher 分布式纵向方向主要涵盖的范围包括分布式系统理论和设计实践, 资源管理和虚拟化技术, 大规模服务稳定性技术, DevOps和自动运维技术等方面, “分布式方向一周技术动态"是我每周总结和整理的关于分布式方向的精选技术文章, 希望以此让大家能够跟踪业界相关的技术动态, 培养大家对分布式系统的兴趣, 学习分布式系统理论和设计思路, 辅助大家的日常工作. 每周的技术动态会在hi群和邮件组里同步发布, 欢迎大家阅读. 对于后续 分布式技术动态 有任何意见或者建议, 大家可以随时联系我.

分布式技术一周技术动态 2016-09-11

searcher 分布式纵向方向主要涵盖的范围包括分布式系统理论和设计实践, 资源管理和虚拟化技术, 大规模服务稳定性技术, DevOps和自动运维技术等方面, “分布式方向一周技术动态"是我每周总结和整理的关于分布式方向的精选技术文章, 希望以此让大家能够跟踪业界相关的技术动态, 培养大家对分布式系统的兴趣, 学习分布式系统理论和设计思路, 辅助大家的日常工作. 每周的技术动态会在hi群和邮件组里同步发布, 欢迎大家阅读. 对于后续 分布式技术动态 有任何意见或者建议, 大家可以随时联系我.

分布式技术一周技术动态 2016-08-28

searcher 分布式纵向方向主要涵盖的范围包括分布式系统理论和设计实践, 资源管理和虚拟化技术, 大规模服务稳定性技术, DevOps和自动运维技术等方面, “分布式方向一周技术动态"是我每周总结和整理的关于分布式方向的精选技术文章, 希望以此让大家能够跟踪业界相关的技术动态, 培养大家对分布式系统的兴趣, 学习分布式系统理论和设计思路, 辅助大家的日常工作. 每周的技术动态会在hi群和邮件组里同步发布, 欢迎大家阅读. 对于后续 分布式技术动态 有任何意见或者建议, 大家可以随时联系我.

分布式技术一周技术动态 2016-10-02

searcher 分布式纵向方向主要涵盖的范围包括分布式系统理论和设计实践, 资源管理和虚拟化技术, 大规模服务稳定性技术, DevOps和自动运维技术等方面, “分布式方向一周技术动态"是我每周总结和整理的关于分布式方向的精选技术文章, 希望以此让大家能够跟踪业界相关的技术动态, 培养大家对分布式系统的兴趣, 学习分布式系统理论和设计思路, 辅助大家的日常工作. 每周的技术动态会在hi群和邮件组里同步发布, 欢迎大家阅读. 对于后续 分布式技术动态 有任何意见或者建议, 大家可以随时联系我.

分布式技术一周技术动态 2016-08-21

searcher 分布式纵向方向主要涵盖的范围包括分布式系统理论和设计实践, 资源管理和虚拟化技术, 大规模服务稳定性技术, DevOps和自动运维技术等方面, “分布式方向一周技术动态"是我每周总结和整理的关于分布式方向的精选技术文章, 希望以此让大家能够跟踪业界相关的技术动态, 培养大家对分布式系统的兴趣, 学习分布式系统理论和设计思路, 辅助大家的日常工作. 每周的技术动态会在hi群和邮件组里同步发布, 欢迎大家阅读. 对于后续 分布式技术动态 有任何意见或者建议, 大家可以随时联系我.

分布式技术一周技术动态 2016.03.20

分布式系统实践 1. 基于Mesos和Docker的分布式计算平台 https://mp.weixin.qq.com/s?__biz=MzAxMDgzOTA2Mw==&mid=402769128&idx=1&sn=cea3ad1357bd9312acf1768c0a493bfd&scene=1&srcid=0318BTuxT0fsFYwPjpeyuDOa&key=710a5d99946419d90fbc1e7600cce055b6e997d6afafc74c