class NN(nn.Module):
    def __init__(self):
        super(NN,self).__init__()#繼承tOrch中已經(jīng)寫好的類，包含神經(jīng)網(wǎng)絡(luò)其余所有通用必要方法函數(shù)。
        self.flatten=nn.Flatten()#加入展平函數(shù)。
        self.net=nn.Sequential(#調(diào)用Sequential方法定義神經(jīng)網(wǎng)絡(luò)。
            nn.Linear(100*3,100*3),
            nn.ReLU(),
            nn.Linear(100*3,100*3),
            nn.ReLU(),
            nn.Linear(100*3,27)
        )
    def forward(self,x):#自定義神經(jīng)網(wǎng)絡(luò)的前向傳播函數(shù)，本文使用了正常的前向傳播函數(shù)，但最終的結(jié)果給出三個輸出。
        result=self.net(x)
        r1=result[:9]
        r2=result[9:18]
        r3=result[18:27]    
        return [r1,r2,r3]
 

#train_data、labels都是list，經(jīng)過list->ndarray->tensor的轉(zhuǎn)換過程。
train_data=torch.tensor(np.array(train_data)).to(torch.float32).to(device)
labels=torch.tensor(np.array(labels)).to(torch.float32).to(device)

#train_data[0]即為訓(xùn)練數(shù)據(jù)的第一條輸入數(shù)據(jù)。
prediction=model(train_data[0])

#定義優(yōu)化器
optim=torch.optim.SGD(model.parameters(),lr=1e-2,momentum=0.9)
# 定義自己的loss 
loss=(prediction[0]-labels[0]).sum()+(prediction[1]-labels[1]).sum()+(prediction[2]-labels[2]).sum()
#反向傳播
optim.zero_grad()#清除上一次的靜態(tài)梯度，防止累加。
loss.backward()#計(jì)算反向傳播梯度。
optim.step()#進(jìn)行一次權(quán)值更新。
 

import torch.utils.data as Data
bath=50#每批次大小
loader=Data.DataLoader(#制作數(shù)據(jù)集，只能由cpu讀取
    dataset = train_data_set,
    batch_size=bath,#每批次包含數(shù)據(jù)條數(shù)
    shuffle=True,#是否打亂數(shù)據(jù)
    num_workers=1,#多少個線程搬運(yùn)數(shù)據(jù)
)

pstep=2#每個多少個批次就輸出一次結(jié)果
for epoch in range(1000):
    running_loss=0.0
    for step,(inps,labs) in enumerate(loader):
        #取出數(shù)據(jù)并搬運(yùn)至GPU進(jìn)行計(jì)算。
        labs=labs.to(device)
        inps=inps.to(device) 
        outputs = model(inps)#將數(shù)據(jù)輸入進(jìn)去并進(jìn)行前向傳播
        loss=loss_fn(outputs,labs)#損失函數(shù)的定義
        optimizer.zero_grad()#清楚上一次的靜態(tài)梯度，防止累加。
        loss.backward()#反向傳播更新梯度
        optimizer.step()#進(jìn)行一次優(yōu)化。
        running_loss += loss.item()#不加item()會造成內(nèi)存堆疊
        size=len(labs)*3
        correct=0
        #print("outputs:",outputs.argmax(-1),"\nlabs:",labs.argmax(-1))
        #逐個判斷計(jì)算準(zhǔn)確率
        correct+=(outputs.argmax(-1)==labs.argmax(-1)).type(torch.float).sum().item()
        if step % pstep == pstep-1:    # print every 10 mini-batches
            print('[%d, %5d] loss: %.3f correct:%.3f' %
                  (epoch + 1, step + 1, running_loss / pstep,correct/size))
            if correct/size>1:#錯誤檢查
                print("outputs:",outputs.argmax(-1),"\nlabs:",labs.argmax(-1),"\ncorrect:",correct,"\nSize:",size)
            running_loss = 0.0
#保存模型
torch.save(model.state_dict(), "model.pth")
print("Saved PyTorch Model State to model.pth")