CUDA編程詳解

一、CUDA編程介紹

CUDA是英偉達（NVIDIA）推出的一種並行計算平台與編程模型，它能夠利用GPU（圖形處理器）的並行計算能力，加速計算過程。

相較於傳統的CPU，GPU在並行計算能力上有很大的優勢，特別是在處理圖像、視頻、遊戲等需要大量計算的場景下，GPU可以大幅提升計算速度。

CUDA編程就是利用NVIDIA的CUDA平台進行GPU編程，以實現高效的並行計算。

二、CUDA編程入門

CUDA編程主要使用C++語言進行開發，主要分為兩個階段：CUDA內核函數開發和主機與設備之間的通信。

開發過程需要安裝CUDA工具包。以下是一個簡單的示例：

#include <iostream>
#include <cuda_runtime.h>

__global__ void helloCUDA()
{
    printf("Hello CUDA!\n");
}

int main()
{
    helloCUDA<<>>();
    cudaDeviceSynchronize();
    return 0;
}

代碼通過在GPU上調用helloCUDA內核函數，實現輸出 “Hello CUDA!” 。其中<<>>表示開啟1個block，每個block中有1個thread。

三、基本概念與環境搭建

CUDA編程中有一些基本概念，包括：線程、塊、網格、多線程和共享內存等。

環境搭建需要先安裝NVIDIA顯卡驅動和CUDA工具包，然後添加CUDA庫文件到工程設置里，以便進行編譯和調試。

四、CUDA編程介面

CUDA提供了一系列API介面，以實現並行計算任務。其中比較常用的包括：

• cudaMalloc()：在GPU設備上分配一段內存空間
• cudaMemcpy()：在主機和設備之間複製數據
• cudaFree()：釋放GPU設備上的內存
• cudaDeviceSynchronize()：等待GPU執行結束

五、CUDA編程和並行計算

CUDA編程主要用於並行計算任務，其中線程和塊是重要的概念。線程是最小的執行單元，塊則是線程的組合。

在CUDA編程中，每個線程可以訪問線程塊中的共享內存，而每個線程塊可以訪問網格中的全局內存。

以下是一個基本的矩陣加法的CUDA程序示例：

__global__
void matrixAddKernel(int *A, int *B, int *C, int N)
{
    int i = blockIdx.x * blockDim.x + threadIdx.x;
    if(i < N*N)
    {
        C[i] = A[i] + B[i];
    }
}

void matrixAdd(int *h_A, int *h_B, int *h_C, int N)
{
    int size = N * N * sizeof(int);
    int *d_A, *d_B, *d_C;
    // CUDA: allocate memory on the device
    cudaMalloc(&d_A, size);
    cudaMalloc(&d_B, size);
    cudaMalloc(&d_C, size);
    // Copy input vectors from host memory to device memory
    cudaMemcpy(d_A, h_A, size, cudaMemcpyHostToDevice);
    cudaMemcpy(d_B, h_B, size, cudaMemcpyHostToDevice);
    // Launch a kernel on the GPU with one thread for each element.
    int threadsPerBlock = 1024;
    int blocksPerGrid = (N * N + threadsPerBlock - 1) / threadsPerBlock;
    matrixAddKernel<<>>(d_A, d_B, d_C, N);
    // Wait for GPU to finish before accessing on host.
    cudaDeviceSynchronize();
    // Copy output vector from device memory to host memory
    cudaMemcpy(h_C, d_C, size, cudaMemcpyDeviceToHost);
    // Free device memory
    cudaFree(d_A);
    cudaFree(d_B);
    cudaFree(d_C);
}

六、多卡使用

當GPU資源不夠用時，可以考慮多卡使用。對於CUDA編程，可以使用NVIDIA的MPI庫來實現多節點、多GPU的並行計算。

七、CUDA編程案例

CUDA編程可以應用於許多領域，例如圖像處理、機器學習、深度學習等。以下是一個CUDA實現的深度學習框架PyTorch中的部分代碼：

class CUDAGraph : public Graph
{
public:
    CUDAGraph(CUDAAllocator* allocator)
        : allocator(allocator)
    {}

    virtual std::shared_ptr allocate(uint64_t size) override
    {
        return allocator->allocate(size);
    }

    virtual void deallocate(std::shared_ptr allocation) override
    {
        allocator->deallocate(allocation);
    }
private:
    CUDAAllocator* allocator;
};

int main()
{
    // Set device
    int device = 0;
    cudaSetDevice(device);

    // Allocate tensors on GPU
    int batch_size = 32;
    int input_size = 784;
    int output_size = 10;
    auto X = std::make_shared(batch_size, input_size, CUDAGraph(&cuda_allocator));
    auto Y = std::make_shared(batch_size, output_size, CUDAGraph(&cuda_allocator));
}

八、CUDA編程PDF

如果需要更加詳細的學習資料，可以參考官方的CUDA編程手冊：

https://docs.nvidia.com/cuda/