torch.Tensor

torch.Tensor 是一種包含單一數(shù)據(jù)類型元素的多維矩陣，類似于 numpy 的 array。
Tensor 可以使用 torch.tensor() 轉(zhuǎn)換 Python 的 list 或序列數(shù)據(jù)生成，生成的是dtype 默認(rèn)是 torch.FloatTensor。

注意 torch.tensor() 總是拷貝 data。如果你有一個(gè) Tensor data 并且僅僅想改變它的 requires_grad 屬性，可用 requires_grad_() 或者 detach() 來避免拷貝。如果你有一個(gè) numpy 數(shù)組并且想避免拷貝，請(qǐng)使用 torch.as_tensor()。

1，指定數(shù)據(jù)類型的 Tensor 可以通過傳遞參數(shù) torch.dtype 和/或者 torch.device 到構(gòu)造函數(shù)生成：

注意為了改變已有的 tensor 的 torch.device 和/或者 torch.dtype, 考慮使用 to() 方法.

>>> torch.ones([2,3], dtype=torch.float64, device="cuda:0")
tensor([[1., 1., 1.],
        [1., 1., 1.]], device='cuda:0', dtype=torch.float64)
>>> torch.ones([2,3], dtype=torch.float32)
tensor([[1., 1., 1.],
        [1., 1., 1.]])

2，Tensor 的內(nèi)容可以通過 Python索引或者切片訪問以及修改：

>>> matrix = torch.tensor([[2,3,4],[5,6,7]])
>>> print(matrix[1][2])
tensor(7)
>>> matrix[1][2] = 9
>>> print(matrix)
tensor([[2, 3, 4],
        [5, 6, 9]])

3，使用 torch.Tensor.item() 或者 int() 方法從只有一個(gè)值的 Tensor中獲取 Python Number：

>>> x = torch.tensor([[4.5]])
>>> x
tensor([[4.5000]])
>>> x.item()
4.5
>>> int(x)
4

4，Tensor可以通過參數(shù) requires_grad=True 創(chuàng)建, 這樣 torch.autograd 會(huì)記錄相關(guān)的運(yùn)算實(shí)現(xiàn)自動(dòng)求導(dǎo)：

>>> x = torch.tensor([[1., -1.], [1., 1.]], requires_grad=True)
>>> out = x.pow(2).sum()
>>> out.backward()
>>> x.grad
tensor([[ 2.0000, -2.0000],
 [ 2.0000,  2.0000]])

5，每一個(gè) tensor都有一個(gè)相應(yīng)的 torch.Storage 保存其數(shù)據(jù)。tensor 類提供了一個(gè)多維的、strided 視圖, 并定義了數(shù)值操作。

Tensor 數(shù)據(jù)類型

Torch 定義了七種 CPU tensor 類型和八種 GPU tensor 類型：

torch.Tensor 是默認(rèn)的 tensor 類型（torch.FloatTensor）的簡稱，即 32 位浮點(diǎn)數(shù)數(shù)據(jù)類型。

Tensor 的屬性

Tensor 有很多屬性，包括數(shù)據(jù)類型、Tensor 的維度、Tensor 的尺寸。

• 數(shù)據(jù)類型：可通過改變 torch.tensor() 方法的 dtype 參數(shù)值，來設(shè)定不同的 tensor 數(shù)據(jù)類型。
• 維度：不同類型的數(shù)據(jù)可以用不同維度(dimension)的張量來表示。標(biāo)量為 0 維張量，向量為 1 維張量，矩陣為 2 維張量。彩色圖像有 rgb 三個(gè)通道，可以表示為 3 維張量。視頻還有時(shí)間維，可以表示為 4 維張量，有幾個(gè)中括號(hào) [ 維度就是幾。可使用 dim() 方法 獲取 tensor 的維度。
• 尺寸：可以使用 shape屬性或者 size()方法查看張量在每一維的長度，可以使用 view()方法或者reshape() 方法改變張量的尺寸。

樣例代碼如下：

matrix = torch.tensor([[[1,2,3,4],[5,6,7,8]],
                       [[5,4,6,7], [5,6,8,9]]], dtype = torch.float64)
print(matrix)               # 打印 tensor
print(matrix.dtype)     # 打印 tensor 數(shù)據(jù)類型
print(matrix.dim())     # 打印 tensor 維度
print(matrix.size())     # 打印 tensor 尺寸
print(matrix.shape)    # 打印 tensor 尺寸
matrix2 = matrix.view(4, 2, 2) # 改變 tensor 尺寸
print(matrix2)

程序輸出結(jié)果如下：

view 和 reshape 的區(qū)別

兩個(gè)方法都是用來改變 tensor 的 shape，view() 只適合對(duì)滿足連續(xù)性條件（contiguous）的 tensor 進(jìn)行操作，而 reshape() 同時(shí)還可以對(duì)不滿足連續(xù)性條件的 tensor 進(jìn)行操作。在滿足 tensor 連續(xù)性條件（contiguous）時(shí)，a.reshape() 返回的結(jié)果與a.view() 相同，都不會(huì)開辟新內(nèi)存空間；不滿足 contiguous 時(shí)， 直接使用 view() 方法會(huì)失敗，reshape() 依然有用，但是會(huì)重新開辟內(nèi)存空間，不與之前的 tensor 共享內(nèi)存，即返回的是 ”副本“（等價(jià)于先調(diào)用 contiguous() 方法再使用 view() 方法）。
更多理解參考這篇文章

Tensor 與 ndarray

1，張量和 numpy 數(shù)組。可以用 .numpy() 方法從 Tensor 得到 numpy 數(shù)組，也可以用 torch.from_numpy 從 numpy 數(shù)組得到Tensor。這兩種方法關(guān)聯(lián)的 Tensor 和 numpy 數(shù)組是共享數(shù)據(jù)內(nèi)存的。可以用張量的 clone方法拷貝張量，中斷這種關(guān)聯(lián)。

arr = np.random.rand(4,5)
print(type(arr))
tensor1 = torch.from_numpy(arr)
print(type(tensor1))
arr1 = tensor1.numpy()
print(type(arr1))
"""
<class 'numpy.ndarray'>
<class 'torch.Tensor'>
<class 'numpy.ndarray'>
"""

2，item() 方法和 tolist() 方法可以將張量轉(zhuǎn)換成 Python 數(shù)值和數(shù)值列表

# item方法和tolist方法可以將張量轉(zhuǎn)換成Python數(shù)值和數(shù)值列表
scalar = torch.tensor(5)  # 標(biāo)量
s = scalar.item()
print(s)
print(type(s))

tensor = torch.rand(3,2)  # 矩陣
t = tensor.tolist()
print(t)
print(type(t))
"""
1.0
<class 'float'>
[[0.8211846351623535, 0.20020723342895508], [0.011571824550628662, 0.2906131148338318]]
<class 'list'>
"""

創(chuàng)建 Tensor

創(chuàng)建 tensor ，可以傳入數(shù)據(jù)或者維度，torch.tensor() 方法只能傳入數(shù)據(jù)，torch.Tensor() 方法既可以傳入數(shù)據(jù)也可以傳維度，強(qiáng)烈建議 tensor() 傳數(shù)據(jù)，Tensor() 傳維度，否則易搞混。

傳入維度的方法

樣例代碼：

>>> torch.rand([1,1,3,3])
tensor([[[[0.3005, 0.6891, 0.4628],
          [0.4808, 0.8968, 0.5237],
          [0.4417, 0.2479, 0.0175]]]])
>>> torch.normal(2, 3, size=(1, 4))
tensor([[3.6851, 3.2853, 1.8538, 3.5181]])
>>> torch.full([2, 2], 4)
tensor([[4, 4],
        [4, 4]])
>>> torch.arange(0,10,2)
tensor([0, 2, 4, 6, 8])
>>> torch.eye(3,3)
tensor([[1., 0., 0.],
        [0., 1., 0.],
        [0., 0., 1.]])

參考資料

PyTorch：view() 與 reshape() 區(qū)別

詳解torch.rand和torch.randn和torch.normal和linespace()