pytorch backward()方法自動(dòng)求梯度

1、區(qū)分源張量和結(jié)果張量

x = torch.arange(-8.0, 8.0, 0.1, requires_grad= True)
y = x.relu()

x為源張量，基于源張量x得到的張量y為結(jié)果張量。

2、如何使用backward()方法自動(dòng)求梯度

一個(gè)標(biāo)量調(diào)用它的backward()方法后，會(huì)根據(jù)鏈?zhǔn)椒▌t自動(dòng)計(jì)算出源張量的梯度值。

2.1、結(jié)果張量是一維張量

基于以上例子，就是將一維張量y變成標(biāo)量后，然后通過調(diào)用backward()方法，就能自動(dòng)計(jì)算出x的梯度值。

那么，如何將一維張量y變成標(biāo)量呢？

一般通過對(duì)一維張量y進(jìn)行求和來實(shí)現(xiàn)，即y.sum()。

一個(gè)一維張量就是一個(gè)向量，對(duì)一維張量求和等同于這個(gè)向量點(diǎn)乘一個(gè)等維的單位向量，使用求和得到的標(biāo)量y.sum()對(duì)源張量x求導(dǎo)與y的每個(gè)元素對(duì)x的每個(gè)元素求導(dǎo)結(jié)果是一樣的，最終對(duì)源張量x的梯度求解沒有影響。

因此，代碼如下：

y.sum().backward()?
x.grad

2.2、結(jié)果張量是二維張量或更高維張量

撇開上面例子，結(jié)果變量y可能是二維張量或者更高維的張量，這時(shí)可以理解為一般點(diǎn)乘一個(gè)等維的單位張量（點(diǎn)乘，是向量中的概念，這樣描述只是方便理解）

代碼如下：

y.backward(torch.ones_like(y))#grad_tensors=torch.ones_like(y)
x.grad

pytorch中的梯度計(jì)算

什么是梯度？

在一元函數(shù)中,某點(diǎn)的梯度標(biāo)的就說某點(diǎn)的導(dǎo)數(shù). 在多元函數(shù)中某點(diǎn)的梯度表示的是由每個(gè)自變量所對(duì)應(yīng)的偏導(dǎo)數(shù)所組成的向量

在前面的線性回歸中 就像y = wx + b方程中求出w參數(shù)最優(yōu)的解，就需要對(duì)w參數(shù)進(jìn)行偏導(dǎo)數(shù)的求取，然后通過偏導(dǎo)數(shù)的值來調(diào)整w參數(shù)以便找到最優(yōu)解。

自動(dòng)計(jì)算梯度和偏導(dǎo)數(shù)

在PyTorch中可以使用torch.autograd.backward()方法來自動(dòng)計(jì)算梯度

在定義張量時(shí)，可以指定requires_grad=True表示這個(gè)張量可以求偏導(dǎo)數(shù)

import torch
# 隨機(jī)出張量x 指定可以計(jì)算偏導(dǎo)數(shù)
x = torch.randn(1,requires_grad=True)
# y和z張量不可以求偏導(dǎo)
y = torch.randn(1)
z = torch.randn(1)
# f1中有張量允許求偏導(dǎo)
f1 = 2*x + y
# f2中沒有張量可以允許求偏導(dǎo)
f2 = y + z
# 打印兩個(gè)方程的梯度
print(f1.grad_fn)
print(f2.grad_fn)

得出結(jié)論：

• f1中有允許可以求偏導(dǎo)的張量存在才可以求梯度
• grad_fn為梯度

1. 求x的偏導(dǎo)數(shù)

# 可以求梯度的變量先使用backward()反向傳播
f1.backward()
# 使用張量的grad屬性拿到偏導(dǎo)數(shù)的值
x.grad

2. 停止梯度的計(jì)算

張量.requires_grad_(False)

# 創(chuàng)建張量 指定可以求偏導(dǎo)
a = torch.randn(2,2,requires_grad=True)
# a對(duì)應(yīng)的b變量
b = ((a * 3)/(a - 1))
# 查看梯度
print(b.grad_fn)
# 停止a張量可以求偏導(dǎo)
a.requires_grad_(False)
# 再次指定b對(duì)應(yīng)變量
b = ((a * 3) / (a - 1))
# 為None了
print(b.grad_fn)

3. 獲取到可以求偏導(dǎo)數(shù)的張量相同的內(nèi)容，但是新變量不可以求偏導(dǎo)

張量.detach()方法

a = torch.randn(2,2,requires_grad=True)
# 可以求偏導(dǎo)的張量返回一個(gè)相同的張量但是不可以求偏導(dǎo)數(shù)
b = a.detach()
print(a.requires_grad)
print(b.requires_grad)

4. 在作用域中張量不可計(jì)算偏導(dǎo)數(shù)

with torch.no_grad(): 內(nèi)的整個(gè)作用域

a = torch.randn(2, 2, requires_grad=True)
print((a ** 2).requires_grad)
with torch.no_grad():
    print((a ** 2).requires_grad)

梯度的清空

在PyTorch中,如果我們利用torch.autograd.backward()方法求解張量的梯度, 在多次運(yùn)行該函數(shù)的情況下, 該函數(shù)會(huì)將計(jì)算得到的梯度累加起來。

所以在函數(shù)中計(jì)算張量的偏導(dǎo)數(shù)，每次計(jì)算完修改完參數(shù)要清空梯度的計(jì)算。

不清空梯度計(jì)算：

x = torch.ones(4, requires_grad=True)
y = (2*x + 1).sum()
z = (2*x).sum()
y.backward()
print("第一次偏導(dǎo):",x.grad)
z.backward()
print("第二次偏導(dǎo):",x.grad)

會(huì)累加

使用張量.grad.zero_()方法清空梯度的計(jì)算：

x = torch.ones(4, requires_grad=True)
y = (2*x + 1).sum()
z = (2*x).sum()
y.backward()
x.grad.zero_()
print("第一次偏導(dǎo):",x.grad)
z.backward()
print("第二次偏導(dǎo):",x.grad)

總結(jié)