網站首頁 編程語言 正文
撰寫背景
面向數據分析的小白,水平有限,錯誤難免,歡迎指正。
什么是數據滑窗
進行機器學習時,一般都要涉及到劃分訓練集和測試集的步驟。特別地,在做數據預測時,一般把預測的依據(也就是歷史數據)稱作X,把需要預測的數據稱為y。即首先把原始數據劃分為train_X, train_y這兩個訓練數據集和test_X, test_y這兩個測試數據集。
對于時間序列數據的預測,往往是建立由好幾個歷史數據預測下一時刻的未來數據,這時候為了充分利用全部數據,應該對原始數據集進行滑窗操作,如下圖所示。
這里展示的是多個特征的時間序列,其中每一行數據均屬于同一時刻。假設,我們要以H( humidity)、PT(pressure)、PE(power)三個特征為預測依據,取當前和上三個時刻共四個時刻的已知數據對下一時刻的PE(功率)進行預測,那么對于X數據集的滑窗就應該如上圖所示,而對y數據集的滑窗應該如下圖所示。
下面給出滑窗實例。
代碼實現
滑窗函數
def sliding_window(DataSet, X_width, y_width, gap = 1, multi_vector = None, X_data = True): ''' DataSet has to be as a DataFrame ''' if X_data: if multi_vector: a,b = DataSet.shape else: a = DataSet.shape[0] b = 1 c = (a-X_width-y_width-a%gap)/gap X = np.reshape(DataSet.iloc[0:X_width,:].values,(1,X_width,b)) for i in range(len(DataSet) - X_width - y_width): i += 1 if i > c: break j = i * gap tmp = DataSet.iloc[j:j + X_width,:].values tmp = np.reshape(tmp,(1,X_width,b)) X = np.concatenate([X,tmp],0) return X else: if multi_vector: print('y_data-error:expect 1D ,given %dD'%DataSet.shape[1]) return; else: a = DataSet.shape[0] c = (a-X_width-y_width-a%gap)/gap y = np.reshape(DataSet.iloc[X_width:X_width + y_width,0].values,(1,y_width)) for i in range(len(DataSet) - X_width - y_width): i += 1 if i > c: break j = i * gap + X_width tmp = DataSet.iloc[j:j + y_width,:].values tmp = np.reshape(tmp,(1,y_width)) y = np.concatenate([y,tmp]) return y
單特征時間序列
單特征時間序列是指僅有一個特征的一維時間序列,如股票收盤價、風電場風速數據、日營業額等。對單特征時間序列滑窗操作如下:
#DataSet訓練數據集 #X_width使用的歷史數據長度 #y_width要預測的數據長度 #X_data是否是X數據集 train_X = sliding_window(DataSet, X_width, y_width) train_y = sliding_window(DataSet, X_width, y_width, X_data = None)
假設訓練數據集是一個100*1的序列,使用24個數據預測未來的1個數據,那么滑窗操作就將原數據做了這樣的變換:
多特征時間序列
多特征時間序列指時間序列的特征不止一個,如上文所舉的H、PT、PE三特征序列。這種數據一般使用在待預測的數據跟多個特征相關性較高的場合中,如氣象數據嵌入的風速預測、股市數據嵌入的收盤價格預測等。進行多特征時間序列滑窗操作如下:
#DataSet訓練數據集 #X_width使用的歷史數據長度 #y_width要預測的數據長度 #multi_vector是否為多特征 #X_data是否是X數據集 train_X = sliding_window(DataSet, X_width, y_width, multi_vector = True) test_y = sliding_window(DataSet, X_width, y_width, multi_vector = True, X_data = None)
假設訓練數據集是一個100*3的序列,使用24個數據預測未來的1個數據,那么滑窗操作就將原數據做了這樣的變換:
注意事項
DataSet必須是DataFrame格式。
y數據集只能是一維。
總結
原文鏈接:https://blog.csdn.net/Chace_B/article/details/119487958
相關推薦
- 2022-06-28 python神經網絡Keras構建CNN網絡訓練_python
- 2023-04-19 清楚詳解Android?進程間圖傳遞圖形buffer原理_Android
- 2022-05-24 C#創建及訪問網絡硬盤的實現_C#教程
- 2023-01-02 Flutter組件生命周期和App生命周期示例解析_Android
- 2023-07-09 Golang syncMap 詳解
- 2022-10-31 Android虛擬機與類加載機制詳情_Android
- 2022-01-21 【每天一個 Linux 命令】Linux命令 mkdir,cat,touch,vi/vim
- 2022-12-29 React使用公共文件夾public問題_React
- 最近更新
-
- window11 系統安裝 yarn
- 超詳細win安裝深度學習環境2025年最新版(
- Linux 中運行的top命令 怎么退出?
- MySQL 中decimal 的用法? 存儲小
- get 、set 、toString 方法的使
- @Resource和 @Autowired注解
- Java基礎操作-- 運算符,流程控制 Flo
- 1. Int 和Integer 的區別,Jav
- spring @retryable不生效的一種
- Spring Security之認證信息的處理
- Spring Security之認證過濾器
- Spring Security概述快速入門
- Spring Security之配置體系
- 【SpringBoot】SpringCache
- Spring Security之基于方法配置權
- redisson分布式鎖中waittime的設
- maven:解決release錯誤:Artif
- restTemplate使用總結
- Spring Security之安全異常處理
- MybatisPlus優雅實現加密?
- Spring ioc容器與Bean的生命周期。
- 【探索SpringCloud】服務發現-Nac
- Spring Security之基于HttpR
- Redis 底層數據結構-簡單動態字符串(SD
- arthas操作spring被代理目標對象命令
- Spring中的單例模式應用詳解
- 聊聊消息隊列,發送消息的4種方式
- bootspring第三方資源配置管理
- GIT同步修改后的遠程分支