深入探究torch.softmax

一、基本介紹

torch.softmax 是一個常用於深度學習中的激活函數，作用是對模型輸出進行歸一化處理，使得每個輸出值都在 0~1 之間並且總和為1。

具體地，對於輸入的向量 x=[x1,x2,x3,…,xn] ，softmax 函數的作用是把每個元素 xi 轉化為 e^xi 的指數形式，再除以所有元素指數的和，最終得到概率分布向量 p=[p1,p2,p3,…,pn]。其中，pi = e^xi / (e^x1+e^x2+…+e^xn)。

對於深度學習中的分類問題，通常把模型最後一層輸出做 softmax 處理，使得輸出結果可以被解釋為各個類別的概率分布。

二、常見應用

1. 分類問題

對於分類問題，softmax 函數通常被用來把神經網路的最後一層輸出轉化為各個類別的概率分布。在訓練時，對於每個樣本，根據真實標籤和預測概率分布計算交叉熵損失，然後用反向傳播演算法進行模型參數的優化。

  import torch
  
  # 定義模型輸出（假設三分類問題）
  outputs = torch.randn(2, 3)
  
  # 對模型輸出進行 softmax 處理
  probs = torch.softmax(outputs, dim=1)
  
  # 輸出每個樣本對應的概率分布
  print(probs)

2. 溫度控制

softmax 函數的計算中，指數的值越大，其佔比就越大。因此，可以通過調整指數值的大小來調整概率的分布。在某些場景下，需要調整輸出結果的”溫度”，使得各個輸出值之間的差異更明顯。

  def temperature_control(probs, t=1.0):
      """
      溫度控制函數
      
      Args:
          probs (tensor): 模型的概率分布向量
          t (float): 溫度值，越大則差異越明顯
      
      Returns:
          tensor: 調整後的概率分布向量
      """
      return torch.softmax(probs/t, dim=0)

  # 示例
  outputs = torch.randn(1, 3)
  probs = torch.softmax(outputs, dim=1)
  
  # 默認溫度
  print("原始概率分布：", probs)
  print("默認溫度調整：", temperature_control(probs))
  
  # 提高溫度
  print("提高溫度調整：", temperature_control(probs, t=2.0))
  
  # 降低溫度
  print("降低溫度調整：", temperature_control(probs, t=0.5))

三、常見問題

1. 梯度消失

由於 softmax 函數將指數的值按照比例轉化為概率值，指數值較大的元素對應的梯度也相對較大，當所有元素的指數值非常大時，較小元素對應的梯度會因為數值溢出而被消失。這種現象被稱之為 softmax 梯度消失問題。

解決 softmax 梯度消失問題的方法之一是使用數值穩定的計算函數，比如 PyTorch 中的 torch.log_softmax 和 torch.nan_to_num 函數。

  import torch
  
  # 定義模型輸出（假設三分類問題）
  outputs = torch.randn(2, 3)
  
  # 使用 torch.softmax
  probs = torch.softmax(outputs, dim=1)
  loss = torch.nn.functional.cross_entropy(probs, torch.LongTensor([0, 2]))
  loss.backward()
  print("使用 torch.softmax 反向傳播的梯度：")
  print(outputs.grad)
  
  # 使用 torch.log_softmax 和 torch.exp
  log_probs = torch.log_softmax(outputs, dim=1)
  exp_probs = torch.exp(log_probs)
  loss = torch.nn.functional.cross_entropy(exp_probs, torch.LongTensor([0, 2]))
  loss.backward()
  print("使用 torch.log_softmax 反向傳播的梯度：")
  print(outputs.grad)

2. 多分類問題

softmax 函數可以處理具有多個類別的分類問題，在此情況下，softmax 函數的輸入是一個形狀為 (-1, num_classes) 的張量，輸出是形狀相同的張量，其中每行都是代表不同樣本的概率分布向量。在訓練過程中，通常使用交叉熵損失函數對模型進行優化。

  import torch
  
  # 定義模型輸出（假設五分類問題）
  outputs = torch.randn(2, 5)
  
  # 對模型輸出進行 softmax 處理
  probs = torch.softmax(outputs, dim=1)
  
  # 隨機生成真實標籤
  targets = torch.randint(0, 5, (2,))
  
  # 使用交叉熵計算損失函數
  loss = torch.nn.functional.cross_entropy(outputs, targets)
  
  # 反向傳播誤差信號
  loss.backward()

四、總結

本文介紹了 softmax 函數在深度學習中的常見應用，並介紹了一些可能遇到的問題和解決方案。對於分類問題，通過 softmax 函數的作用可以將模型最後一層輸出轉化為各個類別的概率分布，然後根據真實標籤和預測概率分布計算交叉熵損失函數，並用反向傳播演算法進行優化。如果出現梯度消失問題，可以使用 torch.log_softmax 和 torch.exp 函數代替 torch.softmax 函數進行計算。