import numpy as np
from sklearn.utils import shuffle
from sklearn.datasets import load_diabetes
import matplotlib.pyplot as plt

#基于numpy實(shí)現(xiàn)一個(gè)簡單的線性回歸模型
#用class進(jìn)行簡單封裝
class lr_model():
? ? def __init__(self):
? ? ? ? pass

? ? # diabetes 是一個(gè)關(guān)于糖尿病的數(shù)據(jù)集， 該數(shù)據(jù)集包括442個(gè)病人的生理數(shù)據(jù)及一年以后的病情發(fā)展情況。
? ? # 數(shù)據(jù)集中的特征值總共10項(xiàng), 如下:
? ? # 年齡
? ? # 性別
? ? # 體質(zhì)指數(shù)
? ? # 血壓
? ? # s1,s2,s3,s4,s4,s6 ?(六種血清的化驗(yàn)數(shù)據(jù))
? ? # 但請注意，以上的數(shù)據(jù)是經(jīng)過特殊處理， 10個(gè)數(shù)據(jù)中的每個(gè)都做了均值中心化處理，然后又用標(biāo)準(zhǔn)差乘以個(gè)體數(shù)量調(diào)整了數(shù)值范圍。驗(yàn)證就會發(fā)現(xiàn)任何一列的所有數(shù)值平方和為1.
? ? def prepare_data(self):
? ? ? ? data = load_diabetes().data
? ? ? ? target = load_diabetes().target
? ? ? ? #數(shù)據(jù)打亂
? ? ? ? X, y = shuffle(data, target, random_state=42)
? ? ? ? X = X.astype(np.float32)
? ? ? ? y = y.reshape((-1, 1))#標(biāo)簽變成列向量形式
? ? ? ? data = np.concatenate((X, y), axis=1)#橫向變?yōu)閿?shù)據(jù)標(biāo)簽的行向量
? ? ? ? return data
? ? ?#初始化參數(shù)，權(quán)值與偏執(zhí)初始化
? ? def initialize_params(self, dims):
? ? ? ? w = np.zeros((dims, 1))
? ? ? ? b = 0
? ? ? ? return w, b

? ? def linear_loss(self, X, y, w, b):
? ? ? ? num_train = X.shape[0]#行數(shù)訓(xùn)練數(shù)目
? ? ? ? num_feature = X.shape[1]#列數(shù)表示特征值數(shù)目
? ? ? ? y_hat = np.dot(X, w) + b#y=w*x+b
? ? ? ? loss = np.sum((y_hat - y) ** 2) / num_train#計(jì)算損失函數(shù)
? ? ? ? dw = np.dot(X.T, (y_hat - y)) / num_train#計(jì)算梯度
? ? ? ? db = np.sum((y_hat - y)) / num_train
? ? ? ? return y_hat, loss, dw, db

? ? def linear_train(self, X, y, learning_rate, epochs):
? ? ? ? w, b = self.initialize_params(X.shape[1])#參數(shù)初始化
? ? ? ? loss_list = []
? ? ? ? for i in range(1, epochs):
? ? ? ? ? ? y_hat, loss, dw, db = self.linear_loss(X, y, w, b)
? ? ? ? ? ? w += -learning_rate * dw
? ? ? ? ? ? b += -learning_rate * db#參數(shù)更新
? ? ? ? ? ? loss_list.append(loss)
? ? ? ? if i % 10000 == 0:#每到一定輪數(shù)進(jìn)行打印輸出
? ? ? ? ? ? print('epoch %d loss %f' % (i, loss))
? ? ? ? #參數(shù)保存
? ? ? ? params = {
? ? ? ? ? ? 'w': w,
? ? ? ? ? ? 'b': b
? ? ? ? }
? ? ? ? grads = {
? ? ? ? ? ? 'dw': dw,
? ? ? ? ? ? 'db': db
? ? ? ? }
? ? ? ? return loss, params, grads,loss_list

? ? #預(yù)測函數(shù)
? ? def predict(self, X, params):
? ? ? ? w = params['w']
? ? ? ? b = params['b']
? ? ? ? y_pred = np.dot(X, w) + b
? ? ? ? return y_pred

? ?#隨機(jī)交叉驗(yàn)證函數(shù)，如何選測試集、訓(xùn)練集
? ? def linear_cross_validation(self, data, k, randomize=True):
? ? ? ? if randomize:
? ? ? ? ? ? data = list(data)
? ? ? ? ? ? shuffle(data)
? ? ? ? slices = [data[i::k] for i in range(k)]#k為step
? ? ? ? for i in range(k):
? ? ? ? ? ? validation = slices[i]
? ? ? ? ? ? train = [data for s in slices if s is not validation for data in s]#將不為測試集的數(shù)據(jù)作為訓(xùn)練集
? ? ? ? ? ? train = np.array(train)
? ? ? ? ? ? validation = np.array(validation)
? ? ? ? ? ? yield train, validation#yield 變?yōu)榭傻?每次返回


if __name__ == '__main__':
? ? lr = lr_model()
? ? data = lr.prepare_data()
? ? for train, validation in lr.linear_cross_validation(data, 5):
? ? ? ? X_train = train[:, :10]
? ? ? ? y_train = train[:, -1].reshape((-1, 1))
? ? ? ? X_valid = validation[:, :10]
? ? ? ? y_valid = validation[:, -1].reshape((-1, 1))
? ? ? ? loss5 = []
? ? ? ? loss, params, grads,loss_list = lr.linear_train(X_train, y_train, 0.001, 100000)

? ? ? ? plt.plot(loss_list, color='blue')
? ? ? ? plt.xlabel('epochs')
? ? ? ? plt.ylabel('loss')
? ? ? ? plt.show()

? ? ? ? loss5.append(loss)
? ? ? ? score = np.mean(loss5)

? ? ? ? print('five kold cross validation score is', score)#5類數(shù)據(jù)的測試分?jǐn)?shù)
? ? ? ? y_pred = lr.predict(X_valid, params)
? ? ? ? plt.scatter(range(X_valid.shape[0]),y_valid)
? ? ? ? plt.scatter(range(X_valid.shape[0]),y_pred,color='red')
? ? ? ? plt.xlabel('x')
? ? ? ? plt.ylabel('y')
? ? ? ? plt.show()

? ? ? ? valid_score = np.sum(((y_pred - y_valid) ** 2)) / len(X_valid)
? ? ? ? print('valid score is', valid_score)