有时间近期学习一下。
调模型出现NAN的情况:
https://github.com/lc222/MPCNN-sentence-similarity-tensorflow
一个样例。
另外 之前在pair wise的损失函数(自己手写)时也出现过NAN。
个人感觉一个容易出现NAN的地方在于loss函数,最近在查资料的时候发现 tensorflow自带的几个交叉熵函数都有实现很多tricks,比如负数处理等等,可能这些tricks是很多情况下出现NAN的真正原因。有时间需要去看一看tensorflow 损失函数实现的tricks。
原文地址:https://www.cnblogs.com/wuchengze/p/9053086.html
时间: 2024-11-02 12:51:35