nn.functional詳細解讀

一、normalize用法詳解

normalize函數能夠對數據做歸一化處理，將數據縮放到0~1範圍內。

import torch.nn.functional as F
import torch

x = torch.Tensor([[1, 2], [3, 4]])
norm_x = F.normalize(x, p=2, dim=1)
print(norm_x)

輸出結果：
tensor([[0.4472, 0.8944],[0.6, 0.8]])

該例子中，p=2表示採用歐式距離進行歸一化處理，dim=1表示對列向量進行處理。normalize還支持其他的p取值，例如p=1的曼哈頓距離。

二、dropout用法詳解

在深度學習中，過度擬合是一個非常大的問題，dropout能夠緩解過度擬合問題。

import torch.nn.functional as F
import torch

x = torch.Tensor([[1, 2], [3, 4]])
drop_x = F.dropout(x, p=0.5, training=True)
print(drop_x)

輸出結果：
tensor([[0., 4.],[6., 8.]])

該例子中，p=0.5表示每個元素被隨機dropout的概率為0.5，training=True表示dropout操作生效。如果training=False則表示不對數據做dropout，這是在測試時使用的。

三、pad用法詳解

在一些場景中，需要對數據進行填充或者裁剪使得尺寸大小相同。pytorch提供了padding函數對數據進行填充操作。

import torch.nn.functional as F
import torch

inputs = torch.randn(1, 3, 5)
pad_inputs = F.pad(inputs, (1, 1, 0, 0), "constant", 0)
print(pad_inputs.shape)

輸出結果：
torch.Size([1, 3, 7])

該例子中，pad_inputs在第2個維度上做了padding操作，補0長度為2（前1後1），第3個維度沒有做padding操作。”constant”表示使用常數填充，0表示填充的常數為0。

四、cross_entropy用法詳解

交叉熵是在分類問題中常用的一種損失函數，nn.functional模塊中提供了cross_entropy函數，可以用於計算交叉熵損失。

import torch.nn.functional as F
import torch

inputs = torch.randn(2, 3)
targets = torch.Tensor([1, 2]).long()
loss = F.cross_entropy(inputs, targets)
print(loss)

輸出結果：
tensor(2.0171)

該例子中，inputs為一個2行3列的隨機flatten數組，targets為標籤，cross_entropy計算inputs與targets的交叉熵損失。

五、softmax用法詳解

softmax函數可以將一個向量轉化為概率分布，常用於分類問題中。

import torch.nn.functional as F
import torch

inputs = torch.Tensor([[1, 2], [3, 4]])
softmax_inputs = F.softmax(inputs, dim=1)
print(softmax_inputs)

輸出結果：
tensor([[0.2689, 0.7311],[0.2689, 0.7311]])

該例子中，dim=1表示對列向量進行softmax操作。