網站首頁 編程語言 正文
原理
SVM被提出于1964年,在二十世紀90年代后得到快速發展并衍生出一系列改進和擴展算法,在人像識別、文本分類等模式識別(pattern recognition)問題中有得到應用。
支持向量機(Support Vector Machine, SVM)是一類按監督學習(supervised learning) 方式對數據進行二元分類的廣義線性分類器(generalized linear classifier),其決策邊界是對學習樣本求解的最大邊距超平面(maximum-margin hyperplane)
SVM可以通過核方法(kernel method)進行非線性分類,是常見的核學習(kernel learning)方法之一。
分類理論
在分類問題中給定輸入數據和學習目標:X = { X1, X2,…Xn },Y = { y1,y2,…yn}。
其中輸入數據的每個樣本都包含多個特征并由此構成特征空間(feature space):Xi = { x1,x2…xn} ,而學習目標為二元變量 y { ? 1 , 1 } y\{-1,1\} y{?1,1}表示負類(negative class)和正類(positive class)。
若輸入數據所在的特征空間存在作為決策邊界(decision boundary)的超平面將學習目標按正類和負類分開,并使任意樣本的點到平面距離大于等于1,則稱該分類問題具有線性可分性,參數 w,b分別為超平面的法向量和截距。
滿足該條件的決策邊界實際上構造了2個平行的超平面作為間隔邊界以判別樣本的分類:
所有在上間隔邊界上方的樣本屬于正類,在下間隔邊界下方的樣本屬于負類。
兩個間隔邊界的距離 d = 2 ∥ w ∥ d=\frac{2}{\|w\|} d=∥w∥2?被定義為邊距(margin),位于間隔邊界上的正類和負類樣本為支持向量(support vector)。
確定最大間距
SVM多分類
SVM算法最初是為二值分類問題設計的,當處理多類問題時,就需要構造合適的多類分類器。
目前,構造SVM多類分類器的方法主要有兩類:
- 一類是直接法,直接在目標函數上進行修改,將多個分類面的參數求解合并到一個最優化問題中,通過求解該最優化問題“一次性”實現多類分類。這種方法看似簡單,但其計算復雜度比較高,實現起來比較困難,只適合用于小型問題中;
- 另一類是間接法,主要是通過組合多個二分類器來實現多分類器的構造,常見的方法有one-against-one和one-against-all兩種。
a.一對多法(one-versus-rest,簡稱1-v-r-SVMs)。
- 訓練時依次把某個類別的樣本歸為一類,其他剩余的樣本歸為另一類,這樣k個類別的樣本就構造出了k個SVM。分類時將未知樣本分類為具有最大分類函數值的那類。
b.一對一法(one-versus-one,簡稱1-v-1 SVMs)。
- 其做法是在任意兩類樣本之間設計一個SVM,因此k個類別的樣本就需要設計k(k-1)/2個SVM。當對一個未知樣本進行分類時,最后得票最多的類別即為該未知樣本的類別。Libsvm中的多類分類就是根據這個方法實現的。
Python實現
多分類
X_train, X_test, y_train, y_test = train_test_split(feature, label, test_size=.2,random_state=0)
# 訓練模型
model = OneVsRestClassifier(svm.SVC(kernel='linear',probability=True,random_state=random_state))
print("[INFO] Successfully initialize a new model !")
print("[INFO] Training the model…… ")
clt = model.fit(X_train,y_train)
print("[INFO] Model training completed !")
# 保存訓練好的模型,下次使用時直接加載就可以了
joblib.dump(clt,"F:/python/model/conv_19_80%.pkl")
print("[INFO] Model has been saved !")
y_test_pred = clt.predict(X_test)
ov_acc = metrics.accuracy_score(y_test_pred,y_test)
print("overall accuracy: %f"%(ov_acc))
print("===========================================")
acc_for_each_class = metrics.precision_score(y_test,y_test_pred,average=None)
print("acc_for_each_class:\n",acc_for_each_class)
print("===========================================")
avg_acc = np.mean(acc_for_each_class)
print("average accuracy:%f"%(avg_acc))
二分類
>>> import numpy as np
>>> X = np.array([[-1, -1], [-2, -1], [1, 1], [2, 1]])
>>> y = np.array([1, 1, 2, 2])
>>> from sklearn.svm import SVC
>>> clf = SVC()
>>> clf.fit(X, y)
SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0,
decision_function_shape='ovr', degree=3, gamma='auto', kernel='rbf',
max_iter=-1, probability=False, random_state=None, shrinking=True,
tol=0.001, verbose=False)
>>> print(clf.predict([[-0.8, -1]]))
[1]
總結
原文鏈接:https://blog.csdn.net/Jeremy_lf/article/details/104871770
相關推薦
- 2023-04-20 elementUI無線滾動+監聽滾動條觸底
- 2022-07-14 python利用線程生成不同尺寸的縮略圖實例詳解_python
- 2022-04-03 C++?OpenCV實戰之車道檢測_C 語言
- 2022-04-07 Python編程基礎之運算符重載詳解_python
- 2022-03-14 寶塔中nginx配置websocket的wss協議
- 2022-07-27 Docker-Compose搭建Spark集群的實現方法_docker
- 2022-05-11 使用kettle的數據庫增量備份與全量備份
- 2022-10-06 C++?abs函數實際應用詳解_C 語言
- 最近更新
-
- window11 系統安裝 yarn
- 超詳細win安裝深度學習環境2025年最新版(
- Linux 中運行的top命令 怎么退出?
- MySQL 中decimal 的用法? 存儲小
- get 、set 、toString 方法的使
- @Resource和 @Autowired注解
- Java基礎操作-- 運算符,流程控制 Flo
- 1. Int 和Integer 的區別,Jav
- spring @retryable不生效的一種
- Spring Security之認證信息的處理
- Spring Security之認證過濾器
- Spring Security概述快速入門
- Spring Security之配置體系
- 【SpringBoot】SpringCache
- Spring Security之基于方法配置權
- redisson分布式鎖中waittime的設
- maven:解決release錯誤:Artif
- restTemplate使用總結
- Spring Security之安全異常處理
- MybatisPlus優雅實現加密?
- Spring ioc容器與Bean的生命周期。
- 【探索SpringCloud】服務發現-Nac
- Spring Security之基于HttpR
- Redis 底層數據結構-簡單動態字符串(SD
- arthas操作spring被代理目標對象命令
- Spring中的單例模式應用詳解
- 聊聊消息隊列,發送消息的4種方式
- bootspring第三方資源配置管理
- GIT同步修改后的遠程分支