在我们在MXnet中定义好symbol、写好dataiter并且准备好data之后,就可以开开心的去训练了。一般训练一个网络有两种常用的策略,基于model的和基于module的。今天,我想谈一谈他们的使用。
一、Model
按照老规矩,直接从官方文档里面拿出来的代码看一下:
# configure a two layer neuralnetwork data = mx.symbol.Variable(‘data‘) fc1 = mx.symbol.FullyConnected(data, name=‘fc1‘, num_hidden=128) act1 = mx.symbol.Activation(fc1, name=‘relu1‘, act_type=‘relu‘) fc2 = mx.symbol.FullyConnected(act1, name=‘fc2‘, num_hidden=64) softmax = mx.symbol.SoftmaxOutput(fc2, name=‘sm‘) # create a model using sklearn-style two-step way #创建一个model model = mx.model.FeedForward( softmax, num_epoch=num_epoch, learning_rate=0.01) #开始训练 model.fit(X=data_set)
具体的API参照http://mxnet.io/api/python/model.html。
然后呢,model这部分就说完了。。。之所以这么快主要有两个原因:
1.确实东西不多,一般都是查一查文档就可以了。
2.model的可定制性不强,一般我们是很少使用的,常用的还是module。
二、Module
Module真的是一个很棒的东西,虽然深入了解后,你会觉得“哇,好厉害,但是感觉没什么鸟用呢”这种想法。。实际上我就有过,现在回想起来,从代码的设计和使用的角度来讲,Module确实是一个非常好的东西,它可以为我们的网络计算提高了中级、高级的接口,这样一来,就可以有很多的个性化配置让我们自己来做了。
Module有四种状态:
1.初始化状态,就是显存还没有被分配,基本上啥都没做的状态。
2.binded,在把data和label的shape传到Bind函数里并且执行之后,显存就分配好了,可以准备好计算能力。
3.参数初始化。就是初始化参数
3.Optimizer installed 。就是传入SGD,Adam这种optimuzer中去进行训练
先上一个简单的代码:
import mxnet as mx # construct a simple MLP data = mx.symbol.Variable(‘data‘) fc1 = mx.symbol.FullyConnected(data, name=‘fc1‘, num_hidden=128) act1 = mx.symbol.Activation(fc1, name=‘relu1‘, act_type="relu") fc2 = mx.symbol.FullyConnected(act1, name = ‘fc2‘, num_hidden = 64) act2 = mx.symbol.Activation(fc2, name=‘relu2‘, act_type="relu") fc3 = mx.symbol.FullyConnected(act2, name=‘fc3‘, num_hidden=10) out = mx.symbol.SoftmaxOutput(fc3, name = ‘softmax‘) # construct the module mod = mx.mod.Module(out) mod.bind(data_shapes=train_dataiter.provide_data, label_shapes=train_dataiter.provide_label) mod.init_params() mod.fit(train_dataiter, eval_data=eval_dataiter, optimizer_params={‘learning_rate‘:0.01, ‘momentum‘: 0.9}, num_epoch=n_epoch)
分析一下:首先是定义了一个简单的MLP,symbol的名字就叫做out,然后可以直接用mx.mod.Module来创建一个mod。之后mod.bind的操作是在显卡上分配所需的显存,所以我们需要把data_shapehe label_shape传递给他,然后初始化网络的参数,再然后就是mod.fit开始训练了。这里补充一下。fit这个函数我们已经看见两次了,实际上它是一个集成的功能,mod.fit()实际上它内部的核心代码是这样的:
for epoch in range(begin_epoch, num_epoch): tic = time.time() eval_metric.reset() for nbatch, data_batch in enumerate(train_data): if monitor is not None: monitor.tic() self.forward_backward(data_batch) #网络进行一次前向传播和后向传播 self.update() #更新参数 self.update_metric(eval_metric, data_batch.label) #更新metric if monitor is not None: monitor.toc_print() if batch_end_callback is not None: batch_end_params = BatchEndParam(epoch=epoch, nbatch=nbatch, eval_metric=eval_metric, locals=locals()) for callback in _as_list(batch_end_callback): callback(batch_end_params)
正是因为module里面我们可以使用很多intermediate的interface,所以可以做出很多改进,举个最简单的例子:如果我们的训练网络是大小可变怎么办? 我们可以实现一个mutumodule,基本上就是,每次data的shape变了的时候,我们就重新bind一下symbol,这样训练就可以照常进行了。
总结:实际上学一个框架的关键还是使用它,要说诀窍的话也就是多看看源码和文档了,我写这些博客的目的,一是为了记录一些东西,二是让后来者少走一些弯路。所以有些东西不会说的很全。。