網(wǎng)站首頁 編程語言 正文
以MNIST為例
from torchvision import datasets mnist = datasets.MNIST(root='./data/', train=True, download=True) print(mnist[0])
結果
(
, 5)
MINIST數(shù)據(jù)集的dataset是由一張圖片和一個label組成的元組
dataloader = torch.utils.data.DataLoader(dataset=mnist, batch_size=2, shuffle=True,collate_fn=lambda x:x) for each in dataloader: print(each) break
結果
[(
, 0), ( , 2)]
collate_fn為lamda x:x時表示對傳入進來的數(shù)據(jù)不做處理
下面自定義collate_fn看看什么效果
def collate(data): img = [] label = [] for each in data: img.append(each[0]) label.append(each[1]) return img,label dataloader = torch.utils.data.DataLoader(dataset=mnist, batch_size=2, shuffle=True,collate_fn=lambda x:collate(x)) for each in dataloader: print(each) break
結果
([
, ], [9, 3])
說明:若不設置collate_fn參數(shù)則會使用默認處理函數(shù)
但必須保證傳進來的數(shù)據(jù)都是tensor格式否則會報錯
附:DataLoader完整的參數(shù)表如下:
class torch.utils.data.DataLoader( dataset, batch_size=1, shuffle=False, sampler=None, batch_sampler=None, num_workers=0, collate_fn=, pin_memory=False, drop_last=False, timeout=0, worker_init_fn=None)
DataLoader在數(shù)據(jù)集上提供單進程或多進程的迭代器
幾個關鍵的參數(shù)意思:
- shuffle:設置為True的時候,每個世代都會打亂數(shù)據(jù)集
- collate_fn:如何取樣本的,我們可以定義自己的函數(shù)來準確地實現(xiàn)想要的功能
- drop_last:告訴如何處理數(shù)據(jù)集長度除于batch_size余下的數(shù)據(jù)。True就拋棄,否則保留
總結
原文鏈接:https://blog.csdn.net/qq_47718334/article/details/122884898
相關推薦
- 2022-08-01 Python實現(xiàn)數(shù)字圖像處理染色體計數(shù)示例_python
- 2023-02-12 Android使用相機實現(xiàn)拍照存儲及展示功能詳解_Android
- 2022-03-18 C++類和對象之封裝詳解_C 語言
- 2023-11-15 LaTeX調整圖片大小的方法;自動調整合適的大小
- 2022-07-07 python計算階乘的兩個函數(shù)用法_python
- 2022-11-19 Golang接口使用教程詳解_Golang
- 2022-08-29 Python實現(xiàn)數(shù)據(jù)的序列化操作詳解_python
- 2022-04-09 DM8 數(shù)據(jù)庫連接Alibaba druid 提示:dbType not support
- 最近更新
-
- window11 系統(tǒng)安裝 yarn
- 超詳細win安裝深度學習環(huán)境2025年最新版(
- Linux 中運行的top命令 怎么退出?
- MySQL 中decimal 的用法? 存儲小
- get 、set 、toString 方法的使
- @Resource和 @Autowired注解
- Java基礎操作-- 運算符,流程控制 Flo
- 1. Int 和Integer 的區(qū)別,Jav
- spring @retryable不生效的一種
- Spring Security之認證信息的處理
- Spring Security之認證過濾器
- Spring Security概述快速入門
- Spring Security之配置體系
- 【SpringBoot】SpringCache
- Spring Security之基于方法配置權
- redisson分布式鎖中waittime的設
- maven:解決release錯誤:Artif
- restTemplate使用總結
- Spring Security之安全異常處理
- MybatisPlus優(yōu)雅實現(xiàn)加密?
- Spring ioc容器與Bean的生命周期。
- 【探索SpringCloud】服務發(fā)現(xiàn)-Nac
- Spring Security之基于HttpR
- Redis 底層數(shù)據(jù)結構-簡單動態(tài)字符串(SD
- arthas操作spring被代理目標對象命令
- Spring中的單例模式應用詳解
- 聊聊消息隊列,發(fā)送消息的4種方式
- bootspring第三方資源配置管理
- GIT同步修改后的遠程分支