日本免费高清视频-国产福利视频导航-黄色在线播放国产-天天操天天操天天操天天操|www.shdianci.com

學無先后，達者為師

網站首頁 編程語言 正文

python機器學習實現oneR算法(以鳶尾data為例)_python

作者：侯小啾 ? 更新時間： 2022-05-04 編程語言

oneR即“一條規則”。oneR算法根據已有的數據中，具有相同特征值的個體最可能屬于哪個類別來進行分類。
以鳶尾data為例，該算法實現過程可解讀為以下六步：

一、 導包與獲取數據

以均值為閾值，將大于或等于閾值的特征標記為1，低于閾值的特征標記為0。

import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_iris
from collections import defaultdict
from operator import itemgetter
import warnings
from sklearn.metrics import classification_report

# 加載內置iris數據，并保存
dataset = load_iris()  
X = dataset.data
y = dataset.target

attribute_means = X.mean(axis=0)  # 得到一個列表，列表元素個數為特征值個數，列表值為每個特征的均值
X_d = np.array(X >= attribute_means, dtype='int')  # 轉bool類型

數據到此已獲取完畢，接下來將其劃分為訓練集和測試集。

二、劃分為訓練集和測試集

使用默認的0.25作為分割比例。即訓練集：測試集=3:1。

X_train, X_test, y_train, y_test = train_test_split(X_d, y, random_state=random_state)

數據描述：
本例中共有四個特征，
原數據集有150個樣本，分割后訓練集有112個數據，測試集有38個數據。
標簽一共分為三類，取值可以是0,1,2。

三、定義函數：獲取某特征值出現次數最多的類別及錯誤率

首先遍歷特征的每一個取值，對于每一個特征值，統計它在各個類別中出現的次數。
定義一個函數，有以下四個參數：

  • X, y_true即 訓練集數據和標簽
  • feature是特征的索引值，可以是0,1,2,3。
  • value是特征可以有的取值，這里為0,1。

該函數的意義在于，對于訓練集數據，對于某個特征，依次遍歷樣本在該特征的真實取值，判斷其是否等于特征的某個可以有的取值 （即value）（以0為例）。如果判定成功，則在字典class_counts中記錄，以三個類別（0，1，2）中該樣本對應的類別為鍵值，表示該類別出現的次數加一。

首先得到的字典（class_counts）形如：
{0: x1, 1.0: x2, 2.0:x3}
其中元素不一定是三個
x1：類別0中，某個特征feature的特征值為value（0或1）出現的次數
x2：類別0中，某個特征feature的特征值為value（0或1）出現的次數
x3：類別0中，某個特征feature的特征值為value（0或1）出現的次數

然后將class_counts按照值的大小排序，取出指定特征的特征值出現次數最多的類別：most_frequent_class。
該規則即為：該特征的該特征值出現在其出現次數最多的類別上是合理的，出現在其它類別上是錯誤的。

最后計算該規則的錯誤率：error
錯誤率即 具有該特征的個體在除出現次數最多的類別出現的次數，代表分類規則不適用的個體的數量。

最后返回待預測的個體類別 和 錯誤率

def train_feature_value(X, y_true, feature, value):
    class_counts = defaultdict(int)
    for sample, y_t in zip(X, y_true):
        if sample[feature] == value:
            class_counts[y_t] += 1
    sorted_class_counts = sorted(class_counts.items(), key=itemgetter(1), reverse=True) # 降序
    most_frequent_class = sorted_class_counts[0][0]
    error = sum([class_count for class_value, class_count in class_counts.items()
                 if class_value != most_frequent_class])
    return most_frequent_class, error

返回值most_frequent_class是一個字典, error是一個數字

四、定義函數：獲取每個特征值下出現次數最多的類別、錯誤率

def train(X, y_true, feature):
    n_samples, n_features = X.shape
    assert 0 <= feature < n_features
    # 獲取樣本中某特征所有可能的取值
    values = set(X[:, feature])
    predictors = dict()
    errors = []
    for current_value in values:
        most_frequent_class, error = train_feature_value(X, y_true, feature, current_value)
        predictors[current_value] = most_frequent_class
        errors.append(error)
    total_error = sum(errors)
    return predictors, total_error

因為most_frequent_class是一個字典，所以predictors是一個鍵為特征可以的取值(0和1)，值為字典most_frequent_class的 字典。
total_error是一個數字，為每個特征值下的錯誤率的和。

五、調用函數，獲取最佳特征值

all_predictors = {variable: train(X_train, y_train, variable) for variable in range(X_train.shape[1])}
Errors = {variable: error for variable, (mapping, error) in all_predictors.items()}
# 找到錯誤率最低的特征
best_variable, best_error = sorted(Errors.items(), key=itemgetter(1))[0]  # 升序
print("The best model is based on feature {0} and has error {1:.2f}".format(best_variable, best_error))
# 找到最佳特征值，創建model模型
model = {'variable': best_variable,
         'predictor': all_predictors[best_variable][0]}
print(model)

在這里插入圖片描述

根據代碼運行結果，最佳特征值是特征2（索引值為2的feature，即第三個特征）。

對于初學者這里的代碼邏輯比較復雜，可以對變量進行逐個打印查看，閱讀blog學習時要盯準字眼，細品其邏輯。

print(all_predictors)
print(all_predictors[best_variable])
print(all_predictors[best_variable][0])

在這里插入圖片描述

六、測試算法

定義預測函數，對測試集數據進行預測

def predict(X_test, model):
    variable = model['variable']
    predictor = model['predictor']
    y_predicted = np.array([predictor[int(sample[variable])] for sample in X_test])
    return y_predicted

# 對測試集數據進行預測
y_predicted = predict(X_test, model)
print(y_predicted)

預測結果：

在這里插入圖片描述

# 統計預測準確率
accuracy = np.mean(y_predicted == y_test) * 100
print("The test accuracy is {:.1f}%".format(accuracy))

在這里插入圖片描述

根據打印結果，該模型預測的準確率可達65.8%，對于只有一條規則的oneR算法而言，結果是比較良好的。到此便實現了oneR算法的一次完整應用。

最后，還可以使用classification_report()方法，傳入測試集的真實值和預測值，打印出模型評估報告。

# 屏蔽警告
warnings.filterwarnings("ignore") 
# 打印模型評估報告
print(classification_report(y_test, y_predicted))  # 參數為測試集的真實數據和預測數據

在這里插入圖片描述

原文鏈接：https://skylarkprogramming.blog.csdn.net/article/details/122874940

欄目分類
最近更新