最近PMP学友会举办了个活动,就是阿里巴巴集团的大数据工程师介绍parameter server。
只是攒3个PDU,但是一直想往大数据方向发展,这个不能不知。
百度了一下,有了点眉目,以下摘自几个网络文章。问候会给出地址。
一、parameter server概念:
参数服务器是个编程框架,用于方便分布式并行程序的编写,其中重点是对大规模参数的分布式存储和协同的支持。
二、parameter server的发展背景:
工业界需要训练大型的机器学习模型,一些广泛使用的特定的模型在规模上的两个特点:
1. 参数很大,超过单个机器的容纳能力(比如大型Logistic Regression和神经网络)
2. 训练数据巨大,需要分布式并行提速(大数据)
这种需求下,当前类似MapReduce的框架并不能很好适合。
因此需要自己实现分布式并行程序,其实在Hadoop出来之前,对于大规模数据的处理,都需要自己写分布式的程序(MPI)。 之后这方面的工作流程被Google的工程师总结和抽象成MapReduce框架,大一统了。
参数服务器就类似于MapReduce,是大规模机器学习在不断使用过程中,抽象出来的框架之一。重点支持的就是参数的分布式,毕竟巨大的模型其实就是巨大的参数。
三、parameter server架构:
Parameter Server(Mli)
----------------------------
架构:
集群中的节点可以分为计算节点和参数服务节点两种。其中,计算节点负责对分配到自己本地的训练数据(块)计算学习,并更新对应的参数;参数服务节点采用分布式存储的方式,各自存储全局参数的一部分,并作为服务方接受计算节点的参数查询和更新请求。
简而言之吧,计算节点负责干活和更新参数,参数服务节点则负责存储参数。
冗余和恢复:
类似MapReduce,每个参数在参数服务器的集群中都在多个不同节点上备份(3个也是极好的),这样当出现节点失效时,冗余的参数依旧能够保证服务的有效性。当有新的节点插入时,把原先失效节点的参数从冗余参数那边复制过来,失效节点的接班人就加入队伍了。
并行计算:
并行计算这部分主要在计算节点上进行。 类似于MapReduce,分配任务时,会将数据拆分给每个worker节点。
参数服务器在开始学习前,也会把大规模的训练数据拆分到每个计算节点上。单个计算节点就对本地数据进行学习就可以了。学习完毕再把参数的更新梯度上传给对应的参数服务节点进行更新。
详细的流程:
1.
分发训练数据 -> 节点1
节点2
节点3
...
节点i
...
节点N
2.
节点i 学习过程:
遍历本地的训练数据,统计所有需要的参数(key)
向分布式的参数服务器查询需要的参数(注意,本地数据对应到的参数只是全局参数的一小部分)
得到查询到的参数值,用于模型的本地训练
一轮训练完毕,得到所有对应参数的更新,将更新上传给参数服务器
3.
参数服务器更新参数过程:
参数服务器得到计算节点传过来的局部更新,汇总后更新本地数据
一些细节还是看李沐的文章吧,这个模型相对其他的一些参数服务器的框架是最简单直观的。
四、Project Adam
------------------
微软研究院的一个专门用于deep learning的参数服务器,很厉害的样子。用了很多trick来提升性能和容纳更大的模型和数据,当然精度也随之上升了很多。
大体的架构和Parameter Server(Mli)的比较相似,但论文里面包含了比较丰富的细节,可以跟之前的内容互补一下。
相似点
- 同样拆分为计算节点(worker)和参数服务节点(parameter server),参数分布式存储
- 均采用冗余,每个参数会保存3份,当某参数对应的服务节点失效,服务会转到该参数对应的部分节点上(2选1)
其他点
五、Parameter Server 构成:
参数服务器中,分布式存储参数的部分,包含两类节点:
Parameter Server(PS): 这类节点负责具体参数的分布式存储
Parameter Server Controller(PSC): 这类节点负责路由和冗余容灾和失效恢复等操作
换句话说,PSC是PS的管理者。 Adam中节点控制的灵活性全在PSC中。
路由机制
project Adam中使用了路由来确定每个参数的存储位置。
路由信息由PSC(其实是多个一致的节点来支撑整个集群的工作)。
计算节点在每次访问和更新参数前,先向PSC询问最新的路由信息,然后将参数按目标位置拆分发送。
而当PS中出现节点变化(节点失效或者添加,类似MapReduce,PSC也会定期PING每个PS来确认节点有效状态),PSC会修改路由,并提供最新的路由信息给计算节点。
冗余机制
前面说到,每个参数会在PS集群中有三个副本,存储在不同的节点上来实现冗余。
其中一个节点会被选为primary,来提供针对某个参数的服务。
当这个节点失效时,另外两个副本中会被挑选出一个作为新的primary,来继续此参数的服务。 这是容灾的第一步
恢复机制
前面说到,冗余机制是容灾第一步。
长久之计是将目前状态恢复到失效之前(目前该参数只有两个副本,需要恢复到3个),这就需要PSC的控制,将失效节点上的参数拆分到其他active的节点上备份(如此就恢复成了三个副本)
当然,如果有新节点的加入,也需要在PSC注册登记,之后PSC可以分配部分参数过去并修改路由。
有趣的trick
- 单机上,使用指针传递来避免内存复制
- 集群中通信,单个机器在传递多个进程的信息传递请求前,会通过相同的发送目标节点来归纳这些消息,之后一并发送请求。
- 无锁写入。这个也许会带来写冲突,但是概率比较低,而且深度神经网络天生可以忍受噪音
更多的信息可以搜索 project Adam,论文里面细节比较容易懂,还有一段录像讲解。
六、一个简单的实现:SwiftSnails
---------------------------------------------------
这是我写一个小的参数服务器,比较简单,代码也比较少。 没有用MPI,自己实现路由分发啥的,有种解放前小米加步枪的感觉。里面有个Word2Vec的分布式实现作为Demo,效率还是不错的。 有兴趣的可以看看 。
项目地址: SwiftSnails by Superjom
作者:Superjom
链接:https://www.zhihu.com/question/26998075/answer/40577680
来源:知乎
著作权归作者所有,转载请联系作者获得授权。
七、参考资料:
1、李沐的论文 《Parameter Server for Distributed Machine Learning》http://www.cs.cmu.edu/~muli/file/ps.pdf
2、MapReduce的替代者-Parameter Server:http://blog.csdn.net/buptgshengod/article/details/46819051
3、https://www.zhihu.com/question/26998075/answer/40663986