import torch
import torch.nn as nn
from torch.autograd import Variable
import torch.utils.data as Data
import torchvision
import matplotlib.pyplot as plt

#Hyper prameters
EPOCH = 2
BATCH_SIZE = 50
LR = 0.001
DOWNLOAD_MNIST = True
train_data = torchvision.datasets.MNIST(
    root ='./mnist',
    train = True,
    download = DOWNLOAD_MNIST
)

print(train_data.data.size())
print(train_data.targets.size())
print(train_data.data[0])

# 畫一個(gè)圖片顯示出來
plt.imshow(train_data.data[0].numpy(),cmap='gray')
plt.title('%i'%train_data.targets[0])
plt.show()

#訓(xùn)練和測(cè)試數(shù)據(jù)準(zhǔn)備
train_loader=Data.DataLoader(dataset=train_data, batch_size=BATCH_SIZE, shuffle=True)
test_data=torchvision.datasets.MNIST(
    root='./mnist',
    train=False,
)
#這里只取前3千個(gè)數(shù)據(jù)吧，差不多已經(jīng)夠用了，然后將其歸一化。
with torch.no_grad():
    test_x=Variable(torch.unsqueeze(test_data.data, dim=1)).type(torch.FloatTensor)[:3000]/255   
    test_y=test_data.targets[:3000]

'''開始建立CNN網(wǎng)絡(luò)'''
class CNN(nn.Module):
    def __init__(self):
        super(CNN,self).__init__()
        '''
        一般來說，卷積網(wǎng)絡(luò)包括以下內(nèi)容：
        1.卷積層
        2.神經(jīng)網(wǎng)絡(luò)
        3.池化層
        '''
        self.conv1=nn.Sequential(
            nn.Conv2d(              #--> (1,28,28)
                in_channels=1,      #傳入的圖片是幾層的，灰色為1層，RGB為三層
                out_channels=16,    #輸出的圖片是幾層
                kernel_size=5,      #代表掃描的區(qū)域點(diǎn)為5*5
                stride=1,           #就是每隔多少步跳一下
                padding=2,          #邊框補(bǔ)全，其計(jì)算公式=（kernel_size-1）/2=(5-1)/2=2
            ),    # 2d代表二維卷積           --> (16,28,28)
            nn.ReLU(),              #非線性激活層
            nn.MaxPool2d(kernel_size=2),    #設(shè)定這里的掃描區(qū)域?yàn)?*2，且取出該2*2中的最大值          --> (16,14,14)
        )
        self.conv2=nn.Sequential(
            nn.Conv2d(              #       --> (16,14,14)
                in_channels=16,     #這里的輸入是上層的輸出為16層
                out_channels=32,    #在這里我們需要將其輸出為32層
                kernel_size=5,      #代表掃描的區(qū)域點(diǎn)為5*5
                stride=1,           #就是每隔多少步跳一下
                padding=2,          #邊框補(bǔ)全，其計(jì)算公式=（kernel_size-1）/2=(5-1)/2=
            ),                      #   --> (32,14,14)
            nn.ReLU(),
            nn.MaxPool2d(kernel_size=2),    #設(shè)定這里的掃描區(qū)域?yàn)?*2，且取出該2*2中的最大值     --> (32,7,7)，這里是三維數(shù)據(jù)
        )
        self.out=nn.Linear(32*7*7,10)       #注意一下這里的數(shù)據(jù)是二維的數(shù)據(jù)
    def forward(self,x):
        x=self.conv1(x)
        x=self.conv2(x)     #（batch,32,7,7）
        #然后接下來進(jìn)行一下擴(kuò)展展平的操作，將三維數(shù)據(jù)轉(zhuǎn)為二維的數(shù)據(jù)
        x=x.view(x.size(0),-1)    #(batch ,32 * 7 * 7)
        output=self.out(x)
        return output

cnn=CNN()
print(cnn)

# 添加優(yōu)化方法
optimizer=torch.optim.Adam(cnn.parameters(),lr=LR)
# 指定損失函數(shù)使用交叉信息熵
loss_fn=nn.CrossEntropyLoss()
'''
開始訓(xùn)練我們的模型哦
'''
step=0
for epoch in range(EPOCH):
    #加載訓(xùn)練數(shù)據(jù)
    for step,data in enumerate(train_loader):
        x,y=data
        #分別得到訓(xùn)練數(shù)據(jù)的x和y的取值
        b_x=Variable(x)
        b_y=Variable(y)
        output=cnn(b_x)         #調(diào)用模型預(yù)測(cè)
        loss=loss_fn(output,b_y)#計(jì)算損失值
        optimizer.zero_grad()   #每一次循環(huán)之前，將梯度清零
        loss.backward()         #反向傳播
        optimizer.step()        #梯度下降
        #每執(zhí)行50次，輸出一下當(dāng)前epoch、loss、accuracy
        if (step%50==0):
            #計(jì)算一下模型預(yù)測(cè)正確率
            test_output=cnn(test_x)
            y_pred=torch.max(test_output,1)[1].data.squeeze()
            accuracy=sum(y_pred==test_y).item()/test_y.size(0)
            print('now epoch :  ', epoch, '   |  loss : %.4f ' % loss.item(), '     |   accuracy :   ' , accuracy)
'''
打印十個(gè)測(cè)試集的結(jié)果
'''
test_output=cnn(test_x[:10])
y_pred=torch.max(test_output,1)[1].data.squeeze()       #選取最大可能的數(shù)值所在的位置
print(y_pred.tolist(),'predecton Result')
print(test_y[:10].tolist(),'Real Result')