Caffe---自带工具 绘制loss和accuracy曲线

Caffe自带工具包---绘制loss和accuracy曲线

  为什么要绘制loss和accuracy曲线?在训练过程中画出accuracy 和loss曲线能够更直观的观察网络训练的状态,以便更好的优化网络的训练。本文主要介绍在基于caffe框架训练网络时,利用caffe自带的工具包来绘制曲线。caffe中自带小工具: caffe-master/tools/extra/parse_log.sh, caffe-master/tools/extra/extract_seconds.py和 caffe-master/tools/extra/plot_training_log.py.example 。

目录

1,训练模型并保存日志文件

2,解析日志文件

3,绘制accuracy 和loss曲线

4,多种曲线参数说明

5,附-常见问题

正文

 1,训练模型并保存日志文件

  在训练过程中把终端输出的结果保存为一个日志文件,注意文件的后缀名必须是.log,这是因为在解析日志文件时有这个要求。如何把终端保存到日志文件? 在训练文件(train_road.sh)中的命令中加入一行参数 ,实现Log日志的记录如train_road_log.sh:

#!/usr/bin/env sh
set -e    

TOOLS=./build/tools
$TOOLS/caffe train  --solver=myself/road/prototxt_files/solver.prototxt 2>&1 | tee myself/road/Log/train_road_20180525.log  

  

  或者,参考其他网友的写法,如下:

#!/usr/bin/env sh
set -e
CAFFEROOT=/home/meringue/Softwares/caffe-master
CIFAR10PY=/home/meringue/Documents/CaffePy/cifar10py
MODEL=$CIFAR10PY/cifar10_caffemodels/model_Alex_ST
TOOLS=$CAFFEROOT/build/tools
echo ‘start training...‘

GLOG_logtostderr=0 GLOG_log_dir=$MODEL/LOG/ \ # save log file
$TOOLS/caffe train   --solver=$MODEL/cifar10_quick_solver.prototxt [email protected]
#!/usr/bin/env sh
set -e   GLOG_logtostderr=0 GLOG_log_dir=/home/liuyun/caffe/models/AAA/A12/Log/ /home/liuyun/caffe/build/tools/caffe train -solver examples/AAA/solver.prototxt \--weights ./models/bvlc_reference_caffenet/bvlc_reference_caffenet.caffemodel
???

   这样训练结束之后,会在Log文件夹中生成每次训练的Log日志(xxx.log)。如果没有生成.log,可以改成.txt后缀,最后自己手动重名名即可以了。  

  接下来,将文件夹caffe/tools/extra下的parse_log.sh (parse_log.py)、extract_seconds.py、plot_training_log.py.example复制到上一步log日志文件的保存目录下。

2,解析日志文件

  这一步利用caffe中tools/extra文件夹下的parse_log.py来解析日志文件。 (提示:这里记得不要使用python3,因为有些地方不兼容,如果只有python3,那你可以根据提示修改相应的代码,下同。)

具体,进入到前面Log的文件夹下,终端中执行:

# cd caffe

# cd myself/road/Log

(1)使用.py:

# python parse_log.py train_road_0525.log /home/wp/caffe/myself/road/Log/ 

## python parse_log.py train_road_0525.log ./

#parse_log.py后,第1个参数是日志文件log的名字,第2个参数是解析完成log后的保存地址。

结果如下图,注意有逗号:

(2)或者,使用.sh:# sh parse_log.sh train_road_0525.log

运行结束之后,会在当前文件夹下生成一个train_road_0525.log.train文件和一个train_road_0525.log.test文件。

结果如下图,注意无逗号:

3,绘制accuracy 和loss曲线

  利用caffe中tools/extra文件夹下的plot_training_log.py文件来绘制。进入“# cd caffe # cd myself/road/Log” 文件后,

(1)可以直接使用plot_training_log.py.example绘制曲线:

# python plot_training_log.py.example 0 save_train_road_0525.png train_road_0525.log

# 其中,0为图类型编号,全部编号参考《4,多种曲线参数说明》。

(2)也可以,将plot_training_log.py.example改为plot_training_log.py,并执行以下命令就可以绘制曲线:

# python plot_training_log.py 6 save_train_road_0525_6.png train_road_0525.log

# 其中,6为图类型编号,全部编号参考《4,多种曲线参数说明》。

4,多种曲线参数说明

Notes: 

    1. Supporting multiple logs. 

    2. Log file name must end with the lower-cased ".log"

Supported chart types: 

    0: Test accuracy  vs. Iters 

    1: Test accuracy  vs. Seconds 

    2: Test loss  vs. Iters 

    3: Test loss  vs. Seconds 

    4: Train learning rate  vs. Iters 

    5: Train learning rate  vs. Seconds 

    6: Train loss  vs. Iters 

    7: Train loss  vs. Seconds 

5,附-常见问题

  利用plot_training_log.py文件来绘制,可能会出现一些问题,如下:

  参考:https://blog.csdn.net/Running_J/article/details/51505715以及https://www.zhihu.com/question/49521165进行解决。本文过程图像显示顺利,没有进行有关文件的修改,留做备用。

原文地址:https://www.cnblogs.com/carle-09/p/9088347.html

时间: 2024-10-27 13:56:40

Caffe---自带工具 绘制loss和accuracy曲线的相关文章

caffe的python接口学习(7):绘制loss和accuracy曲线

使用python接口来运行caffe程序,主要的原因是python非常容易可视化.所以不推荐大家在命令行下面运行python程序.如果非要在命令行下面运行,还不如直接用 c++算了. 推荐使用jupyter notebook,spyder等工具来运行python代码,这样才和它的可视化完美结合起来. 因为我是用anaconda来安装一系列python第三方库的,所以我使用的是spyder,与matlab界面类似的一款编辑器,在运行过程中,可以查看各变量的值,便于理解,如下图: 只要安装了anac

解决caffe绘制训练过程的loss和accuracy曲线时候报错:paste: aux4.txt: 没有那个文件或目录 rm: 无法删除"aux4.txt": 没有那个文件或目录

我用的是faster-rcnn,在绘制训练过程的loss和accuracy曲线时候,抛出如下错误,在网上查找无数大牛博客后无果,自己稍微看了下代码,发现,extract_seconds.py文件的 get_start_time()函数在获取时间时候获取失败,因为if line.find('Solving') != -1:这个语句判断错误导致,具体解决办法: 将该函数改造成: def get_start_time(line_iterable, year):    """Find

caffe绘制训练过程的loss和accuracy曲线

转自:http://blog.csdn.net/u013078356/article/details/51154847 在caffe的训练过程中,大家难免想图形化自己的训练数据,以便更好的展示结果.如 果自己写代码记录训练过程的数据,那就太麻烦了,caffe中其实已经自带了这样的小工具 caffe-master/tools/extra/parse_log.sh  caffe-master/tools/extra/extract_seconds.py和 caffe-master/tools/ext

Caffe学习系列——工具篇:神经网络模型结构可视化

Caffe学习系列--工具篇:神经网络模型结构可视化 在Caffe中,目前有两种可视化prototxt格式网络结构的方法: 使用Netscope在线可视化 使用Caffe提供的draw_net.py 本文将就这两种方法加以介绍 1. Netscope:支持Caffe的神经网络结构在线可视化工具 Netscope是个支持prototxt格式描述的神经网络结构的在线可视工具,网址:  http://ethereon.github.io/netscope/quickstart.html  它可以用来可

Expo大作战(二十七)--expo sdk api之Util(expo自带工具类),tackSnapshotAsync,Svg,SQLite

简要:本系列文章讲会对expo进行全面的介绍,本人从2017年6月份接触expo以来,对expo的研究断断续续,一路走来将近10个月,废话不多说,接下来你看到内容,讲全部来与官网 我猜去全部机翻+个人修改补充+demo测试的形式,对expo进行一次大补血!欢迎加入expo兴趣学习交流群:597732981 [之前我写过一些列关于expo和rn入门配置的东i西,大家可以点击这里查看:从零学习rn开发] 相关文章: Expo大作战(一)--什么是expo,如何安装expo clinet和xde,xd

如何利用 Visual Studio 自带工具提高开发效率

原文:如何利用 Visual Studio 自带工具提高开发效率 Visual Stuido 是一款强大的Windows 平台集成开发工具,你是否好好地利用了它呢? 显示行号 有些时候(比如错误定位)的时候,显示行号将有利于我们进行快速定位. 如何显示 1. 工具 / 选项 / 文本编辑器 -> 选择对应的语言 2. 勾选 "行号" 使用书签 和平常意义的书签类似,当我们希望在日后某一时刻快速定位到一处代码时使用.比如在项目例会上,你需要演示本周你所做的一些改进,在开会前可以事先

Apache之自带工具

服务管理工具:httpd 指令:httpd 语法格式: httpd [ -d  serverroot ] [ -f config ] [ -C directive ] [ -c  directive ] [ -D parameter ] [ -e level ] [ -E  file ] [ -k start|restart|graceful|stop|graceful-stop ] [ -R directory ] [ -h ] [ -l ] [ -L ] [ -M ][ -S  ] [ -t

windows系统自带工具

辅助功能向导:单击"开始→运行",在弹出的对话框中输入:accwiz 计算器:单击"开始→运行",在弹出的对话框中输入:calc 字符影射表:单击"开始→运行",在弹出的对话框中输入:charmap 磁盘清理:单击"开始→运行",在弹出的对话框中输入:cleanmgr SQL Server 客户端网络实用工具:单击"开始→运行",在弹出的对话框中输入:cliconfg 剪贴薄查看器:单击"开始→运

如何通过自带工具为CentOS-7配置网络

注:centos7取消了ifconfig,用 ip addr 查看和设置IP地址: 如何通过自带工具为CentOS-7配置网络 CentOS-7中自带了一个非常好用的工具nmtui(network manager text user interface).在命令行中键入nmtui来启动这个工具. https://jingyan.baidu.com/article/e75aca8562d96b142fdac664.html