1. 導入包

我們這次的任務是隨機生成一些離散的點，然后用直線（y = w *x + b ）去擬合

首先看一下我們需要導入的包有

torch 包為我們生成張量，可以使用反向傳播

matplotlib.pyplot 包幫助我們繪制曲線，實現可視化

2. 生成數據

這里我們通過rand隨機生成數據，因為生成的數據在0~1之間，這里我們擴大10倍。

我們設置的batch_size，也就是數據的個數為20個，所以這里會產生維度是(20,1)個訓練樣本

我們假設大概的回歸是 y = 2 * x + 3 的，為了保證損失不一直為0 ，這里我們添加一點噪音

最后返回x作為輸入，y作為真實值label

rand [0，1]均勻分布

如果想要每次產生的隨機數是一樣的，可以在代碼的前面設置一下隨機數種子

3. 訓練數據

首先，我們要建立的模型是線性的y = w * x + b ，所以我們需要先初始化w ，b

使用randn 標準正態分布隨機初始化權重w，將偏置b初始化為0

為什么將權重w隨機初始化？

• 首先，為了抑制過擬合，提高模型的泛化能力，我們可以采用權重衰減來抑制權重w的大小。因為權重過大，對應的輸入x的特征就越重要，但是如果對應x是噪音的話，那么系統就會陷入過擬合中。所以我們希望得到的模型曲線是一條光滑的，對輸入不敏感的曲線，所以w越小越好
• 那這樣為什么不直接把權重初始化為0，或者說很小很小的數字呢。因為，w太小的話，那么在反向傳播的時候，由于我們習慣學習率lr 設置很小，那在更新w的時候基本就不更新了。而不把權重設置為0，是因為無論訓練多久，在更新權重的時候，所有權重都會被更新成相同的值，這樣多層隱藏層就沒有意義了。嚴格來說，是為了瓦解權重的對稱結構

接下來可以訓練我們的模型了

1. 將輸入的特征x和對應真實值label y通過zip函數打包。將輸入x經過模型 w *x + b 的預測輸出預測值y

2. 計算損失函數loss，因為之前將w、b都是設置成會計算梯度的，那么loss.backward() 會自動計算w和b的梯度。用w的值data，減去梯度的值grad.data 乘上 學習率lr完成一次更新

3. 當w、b梯度不為零的話，要清零。這里有兩種解釋，第一種是每次計算完梯度后，值會和之前計算的梯度值進行累加，而我們只是需要當前這步的梯度值，所有我們需要將之前的值清零。第二種是，因為梯度的累加，那么相當于實現一個很大的batch訓練。假如一個epoch里面，梯度不進行清零的話，相當于把所有的樣本求和后在進行梯度下降，而不是我們原先使用的針對單個樣本進行下降的SGD算法

4. 每100次迭代后，我們打印一下損失

4. 繪制圖像

scatter 相當于離散點的繪圖

要繪制連續的圖像，只需要給個定義域然后通過表達式 w * x +b 計算y就可以了，最后輸出一下w和b，看看是不是和我們設置的w = 2，b =3 接近

5. 代碼

import torch
import matplotlib.pyplot as plt
def trainSet(batch_size = 20):   # 定義訓練集
    x = torch.rand(batch_size,1) * 10
    y = x * 2 + 3 + torch.randn(batch_size,1)   # y = x * 2  + 3（近似）
    return x,y
train_x, train_y = trainSet()   # 訓練集
w =torch.randn(1,requires_grad= True)
b = torch.zeros(1,requires_grad= True)
lr = 0.001
for epoch in range(1000):
    for x,y in zip(train_x,train_y):  # SGD算法，如果是BSGD的話，不需要這個for
        y_pred = w*x  + b
        loss = (y - y_pred).pow(2) / 2
        loss.backward()
        w.data -= w.grad.data * lr
        b.data -= b.grad.data * lr
        if w.data is not True:   # 梯度值不為零的話，要清零
            w.grad.data.zero_()   #  否則相當于一個大的batch訓練
        if b.data is not True:
            b.grad.data.zero_()
    if epoch % 100 ==0:
        print('loss:',loss.data)
plt.scatter(train_x,train_y)
x = torch.arange(0,11).view(-1,1)
y = x * w.data + b.data
plt.plot(x,y)
plt.show()
print(w.data,b.data)

輸出的圖像

輸出的結果為

這里可以看的最后的w = 1.9865和b = 2.9857 和我們設置的2，3是接近的