Autograd

1、深度学习的算法本质上是通过反向传播求导数，Pytorch的Autograd模块实现了此功能；在Tensor上的所有操作，Autograd都能为他们自动提供微分，避免手动计算导数的复杂过程。
2、autograd.Variable是Autograd中的核心类，它简单的封装了Tensor，并支持几乎所有Tensor操作；Tensor被封装为Variable之后，可以调用它的.backward()实现反向传播，自动计算所有的梯度。
3、Variable主要包含三个属性：
        data：保存Variable所包含的Tensor；
        grad：保存data对应的梯度，grad也是个Variable，而不是Tensor，它和data的形状一样；
        grad_fn：指向一个Function对象，这个Function用来反向传播计算输入的梯度。

具体代码解析

1. #_Author_:Monkey
2. #!/usr/bin/env python
3. #-*- coding:utf-8 -*-
4. import torch as t
5. from  torch.autograd import Variable
6. x = Variable(t.ones(2,2),requires_grad = True)
7. print(x)
8. ‘‘‘‘‘tensor([[1., 1.],
9. [1., 1.]], requires_grad=True)‘‘‘
10. y = x.sum()
11. print(y)
12. ‘‘‘‘‘tensor(4., grad_fn=<SumBackward0>)‘‘‘
13. print(y.grad_fn)    #指向一个Function对象，这个Function用来反向传播计算输入的梯度
14. ‘‘‘‘‘<SumBackward0 object at 0x000002D4240AB860>‘‘‘
15. y.backward()
16. print(x.grad)
17. ‘‘‘‘‘tensor([[1., 1.],
18. [1., 1.]])‘‘‘
19. y.backward()
20. print(x.grad)
21. ‘‘‘‘‘tensor([[2., 2.],
22. [2., 2.]])‘‘‘
23. y.backward()
24. print( x.grad )
25. ‘‘‘‘‘tensor([[3., 3.],
26. [3., 3.]])‘‘‘
27. ‘‘‘‘‘grad在反向传播过程中时累加的(accumulated)，这意味着运行
28. 反向传播，梯度都会累加之前的梯度，所以反向传播之前需要梯度清零‘‘‘
29. print( x.grad.data.zero_() )
30. ‘‘‘‘‘tensor([[0., 0.],
31. [0., 0.]])‘‘‘
32. y.backward()
33. print( x.grad )
34. ‘‘‘‘‘tensor([[1., 1.],
35. [1., 1.]])‘‘‘
36. m = Variable(t.ones(4,5))
37. n = t.cos(m)
38. print(m)
39. print(n)
40. ‘‘‘‘‘tensor([[1., 1., 1., 1., 1.],
41. [1., 1., 1., 1., 1.],
42. [1., 1., 1., 1., 1.],
43. [1., 1., 1., 1., 1.]])
44. tensor([[0.5403, 0.5403, 0.5403, 0.5403, 0.5403],
45. [0.5403, 0.5403, 0.5403, 0.5403, 0.5403],
46. [0.5403, 0.5403, 0.5403, 0.5403, 0.5403],
47. [0.5403, 0.5403, 0.5403, 0.5403, 0.5403]])‘‘‘
48. m_tensor_cos = t.cos(m.data)
49. print(m_tensor_cos)
50. ‘‘‘‘‘ensor([[0.5403, 0.5403, 0.5403, 0.5403, 0.5403],
51. [0.5403, 0.5403, 0.5403, 0.5403, 0.5403],
52. [0.5403, 0.5403, 0.5403, 0.5403, 0.5403],
53. [0.5403, 0.5403, 0.5403, 0.5403, 0.5403]])‘‘‘

原文地址：https://www.cnblogs.com/monkeyT/p/9751405.html