1、梯度下降选择固定步长可能产生的情况：收敛、发散、重复的在两个数之间跳跃
2、np.zeros_like(x) 生成一个shape和x一样的全为0的数组
3、plt.counter画等高线图
4、tensorflow的scope 变量命名空间
（1）若tf.Variable(初始值,name=‘ ‘)这种方式，每一个scope都会对名字产生影响
若tf.variable_scope(‘123‘)这种方式， 只有variable_scoope这种会对名字产生影响
（2）在同一个scope内，当同样名字的name_scope再次被声明的时候，scope的名字不会直接被复用，而是会通过改名创建全新的scope
当同样名字的variable_scope再次声明的时候，scope直接复用了
5、tensorflow进行图运算之前需要：(1）创立回话层with tf.Session() as sess （2）初始化所有的变量sess.run(global_variables_initializer())
(3) sess.run([运算1,运算2]，feed_dict={}) feed_dict是输入参数
若要访问计算图，两步 （1）graph=tf.get_default_graph() (2) print(graph.get_operations())
6、当使用加操作的时候，若用c=a+b，get_operations 输出得到的是“add:0"，若用c=tf.add(a,b,‘c‘),输出得到的才是一个叫c的变量，通过graph.get_tensor_by_name可以访问的到，尽可能为每一个option起好名字
7、还存在的问题：共轭梯度方法和自然梯度方法
原文地址：https://www.cnblogs.com/lin-kid/p/11516379.html