日本免费高清视频-国产福利视频导航-黄色在线播放国产-天天操天天操天天操天天操|www.shdianci.com

學(xué)無先后，達(dá)者為師

網(wǎng)站首頁 編程語言 正文

python機(jī)器學(xué)習(xí)實(shí)現(xiàn)oneR算法(以鳶尾data為例)_python

作者：侯小啾 ? 更新時(shí)間： 2022-05-04 編程語言

oneR即“一條規(guī)則”。oneR算法根據(jù)已有的數(shù)據(jù)中，具有相同特征值的個(gè)體最可能屬于哪個(gè)類別來進(jìn)行分類。
以鳶尾data為例，該算法實(shí)現(xiàn)過程可解讀為以下六步：

一、 導(dǎo)包與獲取數(shù)據(jù)

以均值為閾值，將大于或等于閾值的特征標(biāo)記為1，低于閾值的特征標(biāo)記為0。

import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_iris
from collections import defaultdict
from operator import itemgetter
import warnings
from sklearn.metrics import classification_report

# 加載內(nèi)置iris數(shù)據(jù)，并保存
dataset = load_iris()  
X = dataset.data
y = dataset.target

attribute_means = X.mean(axis=0)  # 得到一個(gè)列表，列表元素個(gè)數(shù)為特征值個(gè)數(shù)，列表值為每個(gè)特征的均值
X_d = np.array(X >= attribute_means, dtype='int')  # 轉(zhuǎn)bool類型

數(shù)據(jù)到此已獲取完畢，接下來將其劃分為訓(xùn)練集和測(cè)試集。

二、劃分為訓(xùn)練集和測(cè)試集

使用默認(rèn)的0.25作為分割比例。即訓(xùn)練集：測(cè)試集=3:1。

X_train, X_test, y_train, y_test = train_test_split(X_d, y, random_state=random_state)

數(shù)據(jù)描述：
本例中共有四個(gè)特征，
原數(shù)據(jù)集有150個(gè)樣本，分割后訓(xùn)練集有112個(gè)數(shù)據(jù)，測(cè)試集有38個(gè)數(shù)據(jù)。
標(biāo)簽一共分為三類，取值可以是0,1,2。

三、定義函數(shù)：獲取某特征值出現(xiàn)次數(shù)最多的類別及錯(cuò)誤率

首先遍歷特征的每一個(gè)取值，對(duì)于每一個(gè)特征值，統(tǒng)計(jì)它在各個(gè)類別中出現(xiàn)的次數(shù)。
定義一個(gè)函數(shù)，有以下四個(gè)參數(shù)：

  • X, y_true即 訓(xùn)練集數(shù)據(jù)和標(biāo)簽
  • feature是特征的索引值，可以是0,1,2,3。
  • value是特征可以有的取值，這里為0,1。

該函數(shù)的意義在于，對(duì)于訓(xùn)練集數(shù)據(jù)，對(duì)于某個(gè)特征，依次遍歷樣本在該特征的真實(shí)取值，判斷其是否等于特征的某個(gè)可以有的取值 （即value）（以0為例）。如果判定成功，則在字典class_counts中記錄，以三個(gè)類別（0，1，2）中該樣本對(duì)應(yīng)的類別為鍵值，表示該類別出現(xiàn)的次數(shù)加一。

首先得到的字典（class_counts）形如：
{0: x1, 1.0: x2, 2.0:x3}
其中元素不一定是三個(gè)
x1：類別0中，某個(gè)特征feature的特征值為value（0或1）出現(xiàn)的次數(shù)
x2：類別0中，某個(gè)特征feature的特征值為value（0或1）出現(xiàn)的次數(shù)
x3：類別0中，某個(gè)特征feature的特征值為value（0或1）出現(xiàn)的次數(shù)

然后將class_counts按照值的大小排序，取出指定特征的特征值出現(xiàn)次數(shù)最多的類別：most_frequent_class。
該規(guī)則即為：該特征的該特征值出現(xiàn)在其出現(xiàn)次數(shù)最多的類別上是合理的，出現(xiàn)在其它類別上是錯(cuò)誤的。

最后計(jì)算該規(guī)則的錯(cuò)誤率：error
錯(cuò)誤率即 具有該特征的個(gè)體在除出現(xiàn)次數(shù)最多的類別出現(xiàn)的次數(shù)，代表分類規(guī)則不適用的個(gè)體的數(shù)量。

最后返回待預(yù)測(cè)的個(gè)體類別 和 錯(cuò)誤率

def train_feature_value(X, y_true, feature, value):
    class_counts = defaultdict(int)
    for sample, y_t in zip(X, y_true):
        if sample[feature] == value:
            class_counts[y_t] += 1
    sorted_class_counts = sorted(class_counts.items(), key=itemgetter(1), reverse=True) # 降序
    most_frequent_class = sorted_class_counts[0][0]
    error = sum([class_count for class_value, class_count in class_counts.items()
                 if class_value != most_frequent_class])
    return most_frequent_class, error

返回值most_frequent_class是一個(gè)字典, error是一個(gè)數(shù)字

四、定義函數(shù)：獲取每個(gè)特征值下出現(xiàn)次數(shù)最多的類別、錯(cuò)誤率

def train(X, y_true, feature):
    n_samples, n_features = X.shape
    assert 0 <= feature < n_features
    # 獲取樣本中某特征所有可能的取值
    values = set(X[:, feature])
    predictors = dict()
    errors = []
    for current_value in values:
        most_frequent_class, error = train_feature_value(X, y_true, feature, current_value)
        predictors[current_value] = most_frequent_class
        errors.append(error)
    total_error = sum(errors)
    return predictors, total_error

因?yàn)閙ost_frequent_class是一個(gè)字典，所以predictors是一個(gè)鍵為特征可以的取值(0和1)，值為字典most_frequent_class的 字典。
total_error是一個(gè)數(shù)字，為每個(gè)特征值下的錯(cuò)誤率的和。

五、調(diào)用函數(shù)，獲取最佳特征值

all_predictors = {variable: train(X_train, y_train, variable) for variable in range(X_train.shape[1])}
Errors = {variable: error for variable, (mapping, error) in all_predictors.items()}
# 找到錯(cuò)誤率最低的特征
best_variable, best_error = sorted(Errors.items(), key=itemgetter(1))[0]  # 升序
print("The best model is based on feature {0} and has error {1:.2f}".format(best_variable, best_error))
# 找到最佳特征值，創(chuàng)建model模型
model = {'variable': best_variable,
         'predictor': all_predictors[best_variable][0]}
print(model)

在這里插入圖片描述

根據(jù)代碼運(yùn)行結(jié)果，最佳特征值是特征2（索引值為2的feature，即第三個(gè)特征）。

對(duì)于初學(xué)者這里的代碼邏輯比較復(fù)雜，可以對(duì)變量進(jìn)行逐個(gè)打印查看，閱讀blog學(xué)習(xí)時(shí)要盯準(zhǔn)字眼，細(xì)品其邏輯。

print(all_predictors)
print(all_predictors[best_variable])
print(all_predictors[best_variable][0])

在這里插入圖片描述

六、測(cè)試算法

定義預(yù)測(cè)函數(shù)，對(duì)測(cè)試集數(shù)據(jù)進(jìn)行預(yù)測(cè)

def predict(X_test, model):
    variable = model['variable']
    predictor = model['predictor']
    y_predicted = np.array([predictor[int(sample[variable])] for sample in X_test])
    return y_predicted

# 對(duì)測(cè)試集數(shù)據(jù)進(jìn)行預(yù)測(cè)
y_predicted = predict(X_test, model)
print(y_predicted)

預(yù)測(cè)結(jié)果：

在這里插入圖片描述

# 統(tǒng)計(jì)預(yù)測(cè)準(zhǔn)確率
accuracy = np.mean(y_predicted == y_test) * 100
print("The test accuracy is {:.1f}%".format(accuracy))

在這里插入圖片描述

根據(jù)打印結(jié)果，該模型預(yù)測(cè)的準(zhǔn)確率可達(dá)65.8%，對(duì)于只有一條規(guī)則的oneR算法而言，結(jié)果是比較良好的。到此便實(shí)現(xiàn)了oneR算法的一次完整應(yīng)用。

最后，還可以使用classification_report()方法，傳入測(cè)試集的真實(shí)值和預(yù)測(cè)值，打印出模型評(píng)估報(bào)告。

# 屏蔽警告
warnings.filterwarnings("ignore") 
# 打印模型評(píng)估報(bào)告
print(classification_report(y_test, y_predicted))  # 參數(shù)為測(cè)試集的真實(shí)數(shù)據(jù)和預(yù)測(cè)數(shù)據(jù)

在這里插入圖片描述

原文鏈接：https://skylarkprogramming.blog.csdn.net/article/details/122874940

欄目分類
最近更新