参考:https://www.jianshu.com/p/ecaac3d8296d
所谓的注意力机制,其实就是让系统学会注意力-即关注重点信息忽略无关信息。带有注意力机制的系统,不仅可以自主学习注意力,还可以帮助我们更好的理解神经网络。
提出了两种注意力方法:使用基本反向传播训练的Soft Attetnion方法和使用强化学习训练的Hard Attention方法。论文关于注意力机制的表述主要在以下几个方面:
1)强注意力机制
2)软注意力机制
与强注意力机制不同,软注意力机制对所有的区域都关注,但关注的重要程度不一样。
原文地址:https://blog.51cto.com/13923058/2359953
时间: 2024-11-09 04:24:30