網站首頁 編程語言 正文
1、從均勻分布中生成值
w = torch.zeros(3, 5) w Out[75]:? tensor([[0., 0., 0., 0., 0.], ? ? ? ? [0., 0., 0., 0., 0.], ? ? ? ? [0., 0., 0., 0., 0.]]) torch.nn.init.uniform_(w, a=10, b=15) Out[76]:? tensor([[11.8949, 11.0836, 10.6348, 13.4524, 12.8051], ? ? ? ? [14.5289, 11.3441, 10.0570, 11.0310, 11.3643], ? ? ? ? [10.2919, 11.2083, 13.5757, 13.3987, 11.0059]])
2、分布N(mean, std)中生成值
從給定均值和標準差的正態分布N(mean, std)中生成值,填充輸入的張量或變量
w = torch.zeros(3, 5) torch.nn.init.normal_(w, mean=0, std=0.1) Out[78]:? tensor([[-0.1810, -0.0781, ?0.0562, ?0.0239, -0.0599], ? ? ? ? [ 0.0340, ?0.1520, ?0.0534, ?0.1895, ?0.0135], ? ? ? ? [ 0.0149, -0.1131, -0.0643, ?0.0160, -0.2282]])
3、使用值val填充輸入Tensor
w = torch.empty(2, 5) torch.nn.init.constant_(w, val=0.6) Out[80]:? tensor([[0.6000, 0.6000, 0.6000, 0.6000, 0.6000], ? ? ? ? [0.6000, 0.6000, 0.6000, 0.6000, 0.6000]])
3.1、使用0,或者1 填充數據
torch.nn.init.zeros_(w) Out[83]:? tensor([[0., 0., 0., 0., 0.], ? ? ? ? [0., 0., 0., 0., 0.], ? ? ? ? [0., 0., 0., 0., 0.]]) torch.nn.init.ones_(w) Out[85]:? tensor([[1., 1., 1., 1., 1.], ? ? ? ? [1., 1., 1., 1., 1.], ? ? ? ? [1., 1., 1., 1., 1.]])
4、用單位矩陣填充二維輸入張量
w = torch.empty(3, 5) torch.nn.init.eye_(w) Out[82]:? tensor([[1., 0., 0., 0., 0.], ? ? ? ? [0., 1., 0., 0., 0.], ? ? ? ? [0., 0., 1., 0., 0.]]) torch.nn.init.zeros_(w)
5、其他常用的初始化方法
torch.nn.init.xavier_normal_(w) Out[87]:? tensor([[ 0.2121, -0.3607, ?0.6342, ?0.1501, ?0.0018], ? ? ? ? [-0.0737, ?0.6971, -0.2628, ?0.1004, -0.0322], ? ? ? ? [ 0.0093, ?0.7139, ?0.0263, ?0.7135, ?0.6979]]) torch.nn.init.xavier_uniform_(w) Out[88]:? tensor([[-0.1675, -0.1284, -0.4856, ?0.5762, -0.6135], ? ? ? ? [ 0.0711, -0.8592, -0.0317, ?0.6801, ?0.4777], ? ? ? ? [ 0.2965, -0.5528, -0.5425, ?0.5166, ?0.5759]]) torch.nn.init.kaiming_normal_(w) Out[89]:? tensor([[ 0.0015, ?0.0681, ?0.5349, -0.0972, -0.8459], ? ? ? ? [ 0.6095, -0.0047, ?0.2383, ?1.1911, -1.2320], ? ? ? ? [-0.7059, -0.0080, ?0.4166, ?0.6686, -0.9375]]) torch.nn.init.kaiming_uniform_(w) Out[90]:? tensor([[-0.2876, ?0.3591, ?0.7630, ?0.5041, -0.6685], ? ? ? ? [-0.6666, ?0.5787, ?0.9411, -0.0918, ?1.0930], ? ? ? ? [-0.5985, -0.9909, ?0.4831, -0.6703, ?0.0351]])
原文鏈接:https://blog.csdn.net/weixin_36893273/article/details/123641399
相關推薦
- 2022-05-18 ASP.NET?MVC實現區域路由_實用技巧
- 2022-11-09 WPF使用WrapPanel實現虛擬化效果_C#教程
- 2022-06-14 一文帶你搞懂Numpy中的深拷貝和淺拷貝_python
- 2022-09-14 如何使用R語言做邏輯回歸詳解_R語言
- 2022-04-29 C++圖解單向鏈表類模板和iterator迭代器類模版詳解_C 語言
- 2022-02-10 postgresql解決鎖表
- 2022-11-28 linux?iptables防火墻中的工作常用命令_linux shell
- 2022-08-20 Python操作HDF5文件示例_python
- 最近更新
-
- window11 系統安裝 yarn
- 超詳細win安裝深度學習環境2025年最新版(
- Linux 中運行的top命令 怎么退出?
- MySQL 中decimal 的用法? 存儲小
- get 、set 、toString 方法的使
- @Resource和 @Autowired注解
- Java基礎操作-- 運算符,流程控制 Flo
- 1. Int 和Integer 的區別,Jav
- spring @retryable不生效的一種
- Spring Security之認證信息的處理
- Spring Security之認證過濾器
- Spring Security概述快速入門
- Spring Security之配置體系
- 【SpringBoot】SpringCache
- Spring Security之基于方法配置權
- redisson分布式鎖中waittime的設
- maven:解決release錯誤:Artif
- restTemplate使用總結
- Spring Security之安全異常處理
- MybatisPlus優雅實現加密?
- Spring ioc容器與Bean的生命周期。
- 【探索SpringCloud】服務發現-Nac
- Spring Security之基于HttpR
- Redis 底層數據結構-簡單動態字符串(SD
- arthas操作spring被代理目標對象命令
- Spring中的單例模式應用詳解
- 聊聊消息隊列,發送消息的4種方式
- bootspring第三方資源配置管理
- GIT同步修改后的遠程分支